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内 容 简 介 


本 书 围绕 大 型 网 站 和 文 撑 大 型 网 站 染 构 的 Java 中 间 件 的 实践 展开 介 
绍 。 从 分 布 式 系统 的 知识 切入 ， 让 读者 对 分 布 式 系统 有 基本 的 了 解 ， 然 
后 介绍 大 型 网 站 随 着 数据 量 、 访 问 量 增长 而 发 生 的 架构 变迁 ， 接 着 讲述 
构建 Java 中 间 件 的 相关 知识 ; 之 后 的 几 章 都 是 根据 笔者 的 经 验 来 介绍 文 
撑 大 型 网 站 架构 的 Java 中 间 件 系统 的 设计 和 实践 。 硕 望 读者 通过 本 书 可 
以 了 解 大 型 网 站 架构 变迁 过 程 中 的 较为 通用 的 问题 和 人 解法， 并 了 解构 建 
支撑 大 型 网 站 的 Java 中 间 件 的 实践 经 验 。 


对 于 有 一 定 网 站 开 及 、 设 计 经 验 ， 并 想 了 解 大 型 网 站 架构 和 文 撑 这 
种 架构 的 系统 的 开发 、 测 试 等 的 相关 工程 人 员 ， 本 书 有 很 大 的 参考 意 
义 ; 对 于 没有 网 站 开发 设计 经 验 的 人 员 ， 通 过 本 书 也 能 宏观 了 解 大 型 网 
站 的 架构 及 相关 问题 的 解决 思路 和 方案 。 
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-上 二 
推荐 序 一 
从 事 互联 网 系统 开发 的 人 员 大 多 希望 成 为 资深 的 架构 师 或 领域 专 
家 。 但 大 部 分 人 员 由 于 自身 工作 环境 及 条 件 的 限制 ， 缺 少 大 型 系统 实践 
经 验 ， 或 者 对 核心 的 案例 缺乏 真实 的 了 解 ， 因 此 很 难 有 机 会 理解 分 布 式 
设计 中 的 关键 问题 及 应 对 方案 。 如 何 才能 找到 有 效 的 方法 并 早日 成 为 次 
深 系 统 架构 师 呢 ? 


《大 型 网 站 系统 与 Java 中 间 件 实践 》 一 书 介 绍 了 大 型 网 站 分 布 式 领 
域 的 各 种 问题 ， 并 且 以 互联 网 语言 Java 语 言 为 主 。 这 对 于 希望 提升 架构 
能 力 的 技术 人 员 来 说 ， 一 方面 有 助 于 他 们 了 解 理论 层面 体系 ， 掌 握 大 型 
系统 的 全 貌 ; 万 一 方面 ， 由 于 作者 具有 淘宝 平台 的 丰富 的 架构 及 中 间 件 
开发 经 验 ， 因 而 书 中 的 要 点 都 是 大 型 网 站 在 实际 运行 中 的 精华 经 验 ， 不 
管 你 是 使 用 一 个 已 有 的 分 布 式 开 源 解决 方案 ， 还 是 目 行 开 及 分布 式 组 
D0 0 


书 中 内 容 尽 是 实战 经 验 ， 虽 不 布道 ， 但 所 述 内 容 却 不 乏 硝 烟 一 一 因 
为 是 作者 在 分 布 式 系 统 的 构建 、 拆 分 、 服 务 化 、 部 署 、 实 战 过 程 中 所 经 
历 的 教训 、 积 累 的 经 验 。 书 中 还 有 很 多 性 能 优化 分 析 、 多 种 方 采 选择 时 
的 tradeoff 及 实战 中 的 方案 。 方 案 选 择 无 所 请 最 佳 ， 只 有 最 适合 ， 这 本 书 
不 仅 给 出 了 方 采 选 择 的 方法 ， 更 给 出 了 方案 选择 的 原因 。 本 书 除了 适合 
希望 提升 架构 能 力 的 技术 人 员 阅 读 ， 对 于 正在 从 事 大 数据 、 高 并 及、 中 
间 件 使 用 或 研发 的 一 线 开 发 人 员 也 很 有 价值 。 


一 一 杨 卫 华 (@TimYang) 
新 浪 网 技术 总 监 


























y. 2 
推荐 序 二 
看 了 华 黎 寄 给 我 的 样 章 有 很 深 的 感触 ， 时 间 仿 佛 又 回 到 两 年 多 前 ， 
当时 “去 哪儿 ?网 的 业务 飞速 发 展 ， 系 统 遇 到 了 各 种 各 样 的 问题 。 


首先 是 系统 无 蔬 制 地 变 得 及 肿 庞大 ， 大 量 的 web service 的 调用 将 我 
们 的 系统 变 成 了 一 个 蜂 蛛 网 ， 新 进入 的 工程 师 需 要 很 长 时 间 的 熟悉 才能 
对 原 有 系统 做 出 修改 。 


其 次 系统 随 着 业务 量 的 不 断 增 大 变 得 不 堪 重 负 ， 开 始 还 能 通过 增加 
硬件 来 扩容 ， 后 来 增加 硬件 能 够 带 来 的 效果 已 无 讲 于 事 。 


还 有 ， 质 量 越 来 越 难 以 保证 ， 测 试 的 时 间 变 得 越 来 越 长 ， 无 法 跟 上 
和 满足 业务 发 展 和 变化 的 需要 ， 团 队 的 压力 也 越 来 越 大 ， 各 个 团队 都 需 
要 增加 入 员 ， 但 是 生产 力 的 提升 并 不 明显 。 


回顾 那 段 时 间 ， 故 障 频 发 ， 效 率 低 下 ， 团 队 人 困 马 乏 ， 成 就 感 变 得 
越 来 越 低 。 于 是 我 们 参考 了 国内 外 经 历 过 这 个 阶段 的 公司 的 做 法 ， 引 入 
了 服务 化 框架， 将 系统 拆 小 ， 重 视 了 系统 层次 ， 控 制 了 系统 之 间 的 调用 
关系 ， 也 采用 了 可 菲 消 息 系统 来 应 对 业务 系统 之 间 的 强 厢 合 问 题 。 经 过 
两 年 的 努力 ， 现 在 终于 看 到 了 胜利 的 明光。 


总 结 下 来 系统 发 展 的 困难 也 是 演进 推动 力 ， 主 要 来 目 于 三 个 方面 : 
一 是 系统 的 负载 规模 ， 二 是 系统 的 复杂 度 ， 三 古 由 前 两 个 方面 带 来 的 开 
发 团队 的 规模 扩张 。 而 中 间 件 技术 是 解决 上 述 三 个 问题 的 重要 方法 。 


如 末 在 两 年 甚至 三 年 前 华 黎 的 这 本 书 就 已 经 出 版 ， 那 么 去 哪儿 网 的 
系统 肥 展 束 能 少 走 很 多 弯路 。 过 去 两 年 中 ， 我 们 为 了 概念 和 做 法 进行 了 
无 数 次 的 讨论 、 和 争执、 尝试、 修正。 因为 我 们 当时 获得 经 验 的 途径 主要 
古 通 过 阅读 国内 外 各 大 网 站 的 同行 在 各 种 技术 会 议 上 的 沽 讲 、PPT， 或 
者 与 他 们 交流 过 程 中 得 到 各 种 局 示 ， 这 对 于 一 个 快速 成 长 中 的 系统 来 讲 
太 不 成 体系 了 ， 无 法 对 日 党 的 工作 进行 指导 。 而 华 歼 写 的 这 本 书 融合 了 
他 过 去 在 淘宝 的 经 验 ， 书 中 的 做 法 、 理 念经 过 了 淘宝 系统 的 爆炸 性 增长 
的 检验 ， 详 实地 阐述 了 Java 中 间 件 技术 在 大 型 网 站 ， 尤 其 是 大 型 交易 类 
网 站 的 建设 和 应 用 经 验 。 
































书 采 其 人 ， 这 本 书 很 实在 ， 用 现在 流行 的 话语 来 讲 ， 束 是 干货 多 。 
我 认识 华 黎 有 三 年 了 ， 三 年 内 见 过 几 面 ， 每 次 见面 我 都 有 很 多 收获 。 这 
次 他 把 他 的 经 验 和 领悟 集结 成 蔬 ， 相 信 对 很 多 正在 投 吴 于 互联 网 系统 开 
发 ， 特 别 是 高 负载 、 高 复杂 上 度 的 系统 开发 的 工程 师 们 会 有 很 大 帮助 。 也 
衷心 祝福 华 黎 在 未 来 的 日 子 里 ， 儿 子 健康 成 长 ， 家 许 笠 福 ， 工 作 顺利 。 
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采 襄 


由 于 2007 年 一 个 很 侦 然 的 机 会 ， 我 加 入 了 淘宝 平台 架构 组 ， 职 位 是 
C++ 工程 师 。 然 后 我 就 在 只 完成 了 C 语 言 的 一 个 小 功能 后 ， 开 始 了 Java 
中 间 件 的 研究 生涯 。 从 2007 年 下 半年 到 2013 年 年 初 ， 近 6 年 时 间 我 都 在 
和 文 撑 整 个 网 站 应 用 的 Java 中 间 件 打交道 一 -从 设计 实现 消息 中 间 件 到 
参与 数据 访问 层 设 计 ， 再 到 负责 整个 Java 中 间 件 团队 ， 我 也 从 一 个 不 太 
懂 Java 的 C++ 工程 师 成 长 为 对 Java 中 间 件 有 一 定 了 解 和 积累 的 工程 负责 
人 。 在 这 个 过 程 中 ， 我 也 有 幸 参 与 了 淘宝 从 集中 式 的 Java 应 用 到 分 布 式 
Java 应 用 的 架构 变迁 。 


本 书 从 分 布 式 系统 说 起 ， 然 后 介绍 大 型 网 站 的 变迁 中 遇 到 的 挑战 和 
应 对 策略 ， 接 着 讲解 Java 中 间 件 的 内 容 ， 重 点 介绍 了 笔者 在 实践 中 目 主 
开发 的 支撑 大 型 网 站 应 用 的 几 个 Java 中 间 件 产品 ， 包 括 对 它们 的 思考 及 
其 设计 和 实现 原理 。 最 后 介绍 了 文 撑 大 型 网 站 的 其 他 基础 要 素 ， 包 括 
CDN、 搜 索 、 存 储 、 计 算 平台 ， 以 及 运 维 相 关 的 系统 等 内 容 。 


通过 阅读 本 书 ， 笔 者 希望 读者 能 够 尽量 完整 地 了 解 大 型 网 站 的 挑战 
和 应 对 办 法 ， 并 且 能 够 了 解 淘 宝 在 大 型 网 站 变迁 过 程 中 产生 的 这 几 个 中 
间 件 的 具体 产品 及 其 背后 的 思考 和 设计 ， 并 能 够 对 除 中 间 件 之 外 的 支撑 
大 型 网 站 的 其 他 系统 有 一 定 的 了 解 。 希 望 初学 者 能 够 更 多 地 关注 全 貌 ， 
也 和 希望 有 相关 经 验 的 人 士 可 以 从 本 书 中 得 到 一 些 局 发 ， 汲 取 一 些 经 验 。 


2013 年 5 月 ， 我 的 岗位 有 了 调整 ， 在 接 下 来 的 时 间 中 我 将 带领 淘宝 
技术 部 承担 淘宝 业务 应 用 的 开 肥 工作 。 这 本 书 也 是 对 自己 淘宝 中 间 件 6 
年 工作 生涯 的 一 份 纪念 。 


最 后 要 说 的 是 ， 能 够 完成 本 书 有 很 多 的 人 要 感谢 ， 首 先 要 感谢 淘宝 
给 我 这 么 好 的 平台 和 机 会 ， 没 有 这 个 机 会 就 不 会 有 本 书 。 然 后 也 非 芝 感 
谢 太 太 王 海 凤 对 我 的 支持 ，4 年 前 和 林 吴 合 著 《OSGi 原 理 与 最 佳 实践 》 
一 书 的 时 候 ， 我 们 刚 谈 恋爱 ， 我 把 很 多 本 应 陪 你 的 时 间 用 在 了 写作 上 ， 
4 年 后 ， 我 又 把 本 应 陪 你 和 儿子 的 时 间 用 在 了 写作 上 ， 没 有 你 的 文 持 和 
理解 ， 我 不 可 能 完成 这 次 写作 。 最 后 也 要 感谢 我 的 父母 、 岳 父母、 姑姑 
和 小 表妹 ， 有 你 们 照顾 宸 宕 ， 我 才能 专心 地 写作 本 书 。 
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第 1 章 ”分 布 式 系统 介绍 


1.1 初 识 分 布 式 系统 


我 第 一 次 听 说 分 布 式 系统 ， 大 约 是 在 2000 年 的 时 候 。 当 时 很 倘 然 地 
了 解 到 ，1997 年 版 本 的 电影 《泰坦 尼克 号》 中 的 特效 就 是 通用 多 台 运 行 
Linux 的 机 需 组 成 的 系统 来 共同 完成 的 。 整 个 系统 的 规模 有 多 大 ， 我 没 
有 确切 数字 ， 印 象 中 是 一 百 多 人 台 机 器 。 这 个 集群 的 规模 现在 看 不 算 大 ， 
但 在 当时 深 深 地 震撼 了 我 。 更 加 让 我 感慨 的 是 ， 那 个 时 候 身 边 正 好 有 一 
位 同学 在 用 3D 软 件 做 特效 ， 因 为 过 于 复杂 ， 在 站 室 要 烛 灯 时 总 是 不 能 
全 部 完成 。 如 果 能 够 把 其 他 人 的 电脑 拿 过 来 一 起 分 担 工作 ， 同 时 演 染 ， 
应 该 就 能 在 烛 灯 前 完成 ， 那 样 吏 不 需要 把 电脑 放 到 负责 管理 宿舍 楼 的 大 
和 仓 那 边 来 保证 它 一 直 有 电 了 。 


1.1.1 分布 式 系统 的 定义 


对 于 分 布 式 系统 的 定义 ， 一直 以 来 我 都 没有 找到 或 者 想到 特别 简练 
而 又 合适 的 定义 。 这 里 引用 一 下 Distributed Systems Concepts and 
Design (Third Edition) 中 的 一 句 话 : “A _ distributed system is one in 
which components located at networked computers communicate and 
coordinate their actions only by passing messages”。 从 这 人 句 话 我 们 可 以 看 
到 几 个 重点 ， 一 是 组 件 分 布 在 网 络 计算 机 上 ， 二 是 组 件 之 间 仅 仅 通 过 消 
恩 传 递 来 通信 并 协调 行动 。 


图 1-1 是 一 个 分 布 式 系统 的 示意 图 ， 从 用 户 的 视角 看 ， 用 户 面 对 的 
就 是 一 个 服务 器 ， 提 供用 户 需 要 的 服务 ， 而 实际 上 是 靠背 后 的 众多 服务 
器 组 成 的 “个 分 布 式 系统 来 提供 服务 。 分 布 式 系统 看 起 来 就 像 “ 个 超级 
计算 机 一 样 。 
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图 1-1 分 布 式 系统 示意 图 





我 们 来 理解 一 下 分 布 式 系统 的 定义 。 首 先 分 布 式 系统 一 定 是 由 多 个 
节点 组 成 的 系统 ， 一 般 来 说 一 个 节点 束 是 我 们 的 一 台 计 算 机 ， 然 后 这 些 
节点 不 是 扳 立 的 ， 而 是 互相 连通 的 ; 最后， 这些 连通 的 节点 上 部 车 了 我 
们 的 组 件 ， 并 且 相 互 之 间 的 操作 会 有 协同 。 有 了 这 样 的 原则 ， 我 们 就 可 
以 看 看 身边 都 有 哪些 分 布 式 系统 了 。 像 大 家 平时 都 会 使 用 的 互联 网 就 是 
一 个 分 布 式 系统 ， 我 们 通过 浏览 絮 去 访问 某 一 个 网 站 (例如 淘宝 〉)， 在 
对 浏览 器 发 出 请 求 的 背后 是 一 个 大 型 的 分 布 式 系统 在 为 我 们 提供 服务 ， 
整个 系统 中 有 的 负责 请 求 处 理 ， 有 的 负责 存储 ， 有 的 负责 计算 ， 最 终 通 
0 埋 采 返回 给 浏览 医 ， 并 呈献 给 

站 


1.1.2 分 布 式 系统 的 意义 


从 单机 单 用 户 到 单机 多 用 户 ， 再 到 现在 的 网 络 时 代 ， 应 用 系统 发 生 
了 很 多 的 变化 。 而 分 布 式 系统 依然 是 目前 很 热门 的 讨论 话题 。 那 么 ， 分 
布 式 系统 给 我 们 带 来 了 什么 ， 或 者 说 为 什么 要 有 分 布 式 系统 呢 ? 下 面 从 
三 个 方面 来 介绍 一 下 其 中 的 原因 : 














。 升级 单机 处 理 能 力 的 性 价 比 越 来 越 低 。 


。 单机 处 理 能 力 存在 瓶颈 。 
。 出 于 稳定 性 和 可 用 性 的 考虑 。 
那么 我 们 先 来 看 单机 处 理 能 力 包括 什么 。 一 般 来 说 ， 我 们 关注 的 是 
单机 的 处 理 器 (CPU) 、 内 存 、 磁 盘 和 网 络 。 下 面 我 们 就 用 处 理 器 来 举 
例 说 明 与 单机 处 理 能 力 相 关 的 问题 。 


我 们 都 知道 摩尔 定律 : 当 价 格 不 变 时 ， 每 隔 18 个 月 ， 集 成 电路 上 可 
容纳 的 晶体 管 数 目 会 增加 一 倍 ， 性 能 也 将 提升 一 倍 ， 如 图 1-2 所 示 。 
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图 1-2 ”摩尔 定律 


这 个 定律 告诉 我 们 ， 随 着 时 间 的 推移 ， 单 位 成 本 的 支出 所 能 购买 的 
计算 能 力 在 提升 。 不 过 ， 如 宁 我 们 把 时 间 固 定 下 来 ， 也 就 是 固定 在 茶 个 
有 具 体 时 间 点 来 购买 单 颗 不 同型 号 处 理 器 ， 那 么 所 购买 的 处 理 器 性 能 越 
高 ， 所 要 付出 的 成 本 就 越 高 ， 性 价 比 就 越 低 。 那 么 ， 就 是 说 在 一 个 确定 
的 时 间 点 ， 通 过 更 换 人 硬件 做 垂直 扩展 的 方式 来 所 升 性 能 会 越 来 越 不 划 
算 。 除 此 之 外 ， 同 样 是 在 某 个 固定 的 时 间 点 ， 单 颗 处 理 器 有 自己 的 性 能 
牧人 席 ， 也 就 是 说 即使 你 愿意 花 更 多 的 钱 去 买 计算 能 力也 买 不 到 了 ， 这 就 
是 前 面 提 到 的 第 二 点 。 而 第 三 把 ， 强 调 的 是 分 布 式 系统 种 来 的 稳定 性 、 
可 用 性 的 提升 。 如 宋 我 们 采用 单机 系统 ， 那 么 在 这 人 台 机 器 正常 的 时 候 一 














切 OK， 一 旦 出 问题 ， 那 么 系统 就 完全 不 能 用 了 。 当 然 ， 可 以 考虑 做 容 
灾 备 份 等 方案 ， 而 这 些 方案 就 会 让 你 的 单机 系统 演变 成 分 布 式 系 统 了 。 


多 年 以 来 分 布 式 系统 相关 技术 一 直 是 技术 方面 的 热点 ， 在 接 下 来 的 
一 节 中 我 们 看 一 些 分 布 式 系统 的 基础 知识 。 


1.2 分 布 式 系统 的 基础 知识 


在 前 面 的 内 容 中 提 到 过 ， 分 布 式 系 统 是 多 个 节点 连通 后 组 成 的 系 
统 ， 我 们 先 来 介绍 单个 节点 ， 束 是 单个 计算 机 ， 首 先 看 一 下 计算 机 的 组 


1.2.1 组 成 计算 机 的 5 要 系 


提起 冯 : 诺 依 曼 (John Von Neumann) ， 应 该 很 多 读者 都 知道 他 
是 “计算 机 之 父 ”， 他 对 世界 上 第 一 台电 子 计 算 机 -ENIAC 的 设计 提出 过 
建议 ， 而 且 他 在 共同 讨论 的 基础 上 起 草 的 EDVAC (电子 离散 变量 目 动 
计算 机 ) 设计 报告 ， 对 后 来 的 计算 机 的 设计 有 决定 性 影响 。 束 是 在 这 个 
101 页 的 报告 中 ， 提 到 了 计算 机 的 5 个 组 成 部 分 以 及 采用 二 进 制 编码 等 设 
计 。 我 们 看 一 下 汉 : 诡 依 受 型 计算 机 的 这 5 个 组 成 部 分 ， 如 图 1-3 所 示 。 








外 存 














图 1-3 ”组 成 计算 机 的 5 要 素 


如 图 1-3 所 示 ， 组 成 计算 机 的 基本 元 素 包 括 输入 设备 、 输 出 设备 、 
运算 器 、 控 制 器 和 存储 器 ， 人 存储 器 又 分 为 了 内 存 和 外 存 。 在 计算 机 断 电 
时 ， 内 存 中 存储 的 数据 会 丢失 ， 而 外 存 则 仍然 能 够 保持 存储 的 数据 。 


在 单机 系统 中 ， 这 5 个 部 分 构成 了 整个 计算 机 系统 。 而 分 布 式 系统 
从 外 部 看 起 来 就 像 是 一 个 超级 计算 机 。 那 么 ， 这 个 超级 计算 机 是 否 也 是 
由 上 面 的 5 个 部 分 组 成 的 呢 ? 如 果 是 ， 这 5 个 部 分 具体 又 是 怎么 运作 的 
呢 ? 在 后 面 的 章节 中 ， 我 们 会 具体 谈 到 这 部 分 内 容 。 


1.2.2 ”线程 与 进程 的 执行 模式 


有 了 基础 的 硬件 后 ， 要 完成 工作 束 需 要 我 们 进行 相应 的 开 太 ， 而 我 
们 代码 最 后 是 要 通过 进程 中 的 线程 来 运行 ， 因 此 我 们 接 下 来 要 看 的 就 是 
线程 与 进程 的 执行 模式 。 相 信 绝 大 部 分 接触 程序 设计 的 人 员 都 和 我 一 样 
是 先 接触 单线 程 开发 的 。 事 实 上 那个 时 候 我 并 不 懂得 线程 的 概念 ， 就 是 
写 一 段 代 码 ， 执 行 完了 事 。 在 单线 程 程 序 中 ， 我 们 面 对 的 主要 就 是 程序 
的 顺序 、 分 文 和 循环 执行 。 单 线程 程序 也 是 我 们 很 容易 学 习 和 掌握 的 。 


相对 于 单线 程 ， 下 面 要 介绍 的 融 是 多 线程 。 先 明确 一 下 ， 我 们 这 里 
说 的 多 线程 ， 指 的 是 单 进程 内 的 多 线程 。 多 线程 开发 的 难度 远 远 高 于 单 
线程 。 在 多 线程 开发 中 ， 我 们 需要 处 理 线 程 间 的 通信 ， 需 要 对 线程 并 发 
做 控制 ， 需 要 做 好 线程 间 的 协调 工作 。 























1.2.2.1 ” 阿 姆 达 尔 定 律 





多 线程 的 程序 不 容易 写 ， 开 发 难度 比较 大 。 但 是 ， 多 线程 给 我 们 带 
来 的 好 处 也 是 显而易见 的 。 在 前 面 的 章节 中 提 到 过 摩尔 定律 ， 进 入 21 世 
纪 后 ， 单 核 CPU 的 性 能 和 时 钟 频率 已 经 达到 了 很 高 的 高 度 ， 因 而 这 个 时 
候 CPU 能 力 的 提升 更 多 的 是 靠 增 加 单条 CPU 中 的 核心 数 来 提升 ， 总 体 上 
处 理 能 力 的 提升 还 是 符合 摩尔 定律 。 但 是 ， 要 利用 这 种 能 力 提升 的 话 ， 
就 需要 我 们 面 癌 多 核 来 编程 。 在 多 年 前 的 单 核 时 代 ， 程 序 员 相对 容易 束 
能 做 到 上 自己 的 程序 随 着 CPU 的 更 换 而 变 快 。 而 在 多 核 的 年 代 ， 如 果 你 的 
程序 不 能 很 好 地 利用 多 核 ， 那 么 随 着 时 间 的 推移 ， 升 级 多 核 CPU 为 你 的 











程序 带 来 的 速度 提升 会 非常 有 限 。 在 这 样 的 多 核 时 代 中 ， 程 序 的 并 发 和 
并 行 很 重要 。 通 过 阿 姆 达尔 定律 也 能 很 好 地 看 到 ， 程 序 中 的 串 行 部 分 对 
于 增加 CPU 核心 来 提升 处 理 速度 存在 限制 。 

我 们 看 一 下 阿 姆 达 尔 定 律 (Amdahl's law) : 





SCN ) 一 
-i 二 





其 中 ，P 指 的 是 程序 中 可 并 行 部 分 的 程序 在 单 核 上 执行 时 间 的 占 
比 ，N 表 示 处 理 圳 的 个 数 〈 总 核心 数 ) 。S CN) 是 指 程序 在 N 个 处 理 絮 
总 核心 数 ) 相对 在 单个 处 理 右 〈 单 核 ) 中 的 速度 提升 比 。 


这 个 公式 告诉 我 们 ， 程 序 中 可 并 行 代码 的 比例 决定 你 增加 处 理 器 
(总 核心 数 ) 所 能 带 来 的 速度 提升 的 上 限 ， 是 否 能 达到 这 个 上 限 ， 还 取 
决 于 很 多 其 他 的 因素 。 例 如 ， 当 P=0.5 时 ， 我 们 可 以 计算 出 速度 提升 的 
上 限 束 是 2。 而 如 果 P 二 0.2， 速 度 提升 的 上 限 束 是 1.25。 可 见 ， 在 多 核 的 
时 代 ， 并 发 程序 的 开发 或 者 说 提升 程序 的 并 发 性 是 多 么 重要 。 














1.2.2.2” 互 不 通信 的 多 线程 模式 


接 下 来 ， 我 们 需要 看 看 多 线程 的 几 种 交互 模式 。 首 先 看 到 的 就 是 不 
进行 交互 的 模式 。 在 多 线程 程序 中 ， 多 个 线程 会 在 系统 中 并 发 执行 。 如 
果 线 程 之 间 不 需要 处 理 共 孚 的 数据 ， 也 不 需要 进行 动作 协调 ， 那 么 将 会 
非常 简单 ， 就 是 多 个 独立 的 线程 各 目 完 成 自己 线程 中 的 工作 。 


例如 图 1-4 中 的 两 个 线程 ， 没 有 交集 ， 各 自 执 行 各 自 的 任务 和 他 
得。 








任务 执行 任务 执行 
任务 执行 任务 执行 





图 1-4” 互 不 通信 的 多 线程 执行 流程 

















1.2.2.3 ”基于 共享 容器 协同 的 多 线程 模式 





在 为 一 些 场景 中 我 们 需要 在 多 个 线程 之 间 对 共 至 的 数据 进行 处 理 。 
例如 经 典 的 生产 者 和 消费 者 的 例子 ， 我 们 有 一 个 队列 用 于 生产 和 消费 ， 
那么 ， 这 个 队列 惑 是 多 个 线程 会 共享 的 一 个 容器 或 者 是 数据 对 象 ， 多 个 
线程 会 并 发 地 访问 这 个 队列 ， 如 图 1-5 所 示 。 
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图 1-5 ”使 用 队列 进行 交互 的 多 线程 执行 流程 


对 于 这 种 在 多 线程 环境 下 对 同一 份 数 据 的 访问 ， 我 们 需要 有 所 保护 
和 控制 以 保证 访问 的 正确 性 。 对 于 存储 数据 的 容器 或 者 对 象 ， 有 线程 安 
全 和 线程 不 安全 之 分 ， 而 对 于 线程 不 安全 的 容器 或 对 象 ， 一 般 可 以 通过 
加 锁 或 者 通过 Copy On Write 的 方式 来 控制 并 发 访问 。 使 用 加 锁 方 式 时 ， 
如 果 数 据 在 多 线程 中 的 读 写 比 例 很 高 ， 则 一 般 会 采用 读 写 锁 而 非 简 单 的 
互 斥 锁 。 对 于 线程 安全 的 容器 和 对 象 ， 我 们 就 可 以 在 多 线程 环境 下 直接 
使 用 它们 了 。 在 这 些 线程 安全 的 容器 和 对 象 中 ， 有 些 是 支持 并 发 的 ， 这 
种 方式 的 效率 会 比 简 单 的 加 互 斥 锁 的 实现 更 好 ， 例 如 在 Java 领 域 ，JDK 
中 的 java.util.concurrent 包 中 有 很 多 这 样 的 容器 类 。 不 过 ， 需 要 在 这 里 提 
-点 的 是 ， 有 时 通过 加 锁 把 使 用 线程 不 安全 容器 的 代码 改 为 使 用 线程 安 
全 容器 的 代码 时 ， 会 过 到 笔者 之 前 过 到 过 的 一 个 陷阱 ， 即 在 一 个 使 用 
map 存 储 信息 后 统计 总 数 的 例子 中 ，map 中 的 value 整 型 使 用 线程 不 安全 
的 HashMap 人 代码 是 这 样 写 的 〈 以 Java 为 例 ) : 


























public class TestClasst 
private HashMap<String, Integer>map=new HashMap<String, Integ 


); 
public synchronized void add(String key)t 
Integer Value=map .get(key); 
If(value==nu]1)1{ 
map.put(key, 1); 


elsef{ 
map.put(key, value+1); 


如 果 我 们 使 用 ConcurrentHashMap 来 蔡 换 HashMap， 并 且 去 掉 
synchronized 关 键 字 ， 那 么 孢 出 问题 了 。 问 题 不 复杂 ， 大 家 可 以 自己 来 
思考 答案 。 





public class TestClasst 
private HashMap<String, Integer>map=new HashMap<String, Integ 
() ) 
public synchronized void add(String key)t{ 
Integer Value=map .get(key); 
If(value==nu]1)1{ 
map.put(key, 1); 


elsef 
map.put(key, value+1); 


1.2.2.4 通过 事件 协同 的 多 线程 模式 





除了 并 发 访问 的 控制 ， 线 程 间 会 存在 独 协 调 的 需求 ， 例 如 A、B 两 
个 线程 ，B 线 程 需要 等 到 茶 个 状态 或 事件 发 生 后 才能 继续 上 自己 的 工作 ， 
而 这 个 状态 改变 或 者 事件 产生 和 A 线 程 相 关 。 那 么 在 这 个 场景 下 ， 就 需 
要 完成 线程 间 的 协调 。 


如 图 1-6 押 示 ， 右 侧 的 线程 ， 在 执行 到 茶 个 步骤 时 需要 等 待 一 个 事 
件 ， 而 这 个 事件 由 左 侧线 程 产 生 并 通知 。 右 侧线 程 一 直 阻 塞 直到 事件 通 
知 到 达 后 才 继 续 上 自己 的 执行 。 当 然 ， 这 只 是 一 个 很 简单 的 例子 ， 而 在 实 
际 的 程序 中 会 有 更 复杂 的 情况 。 我 们 也 需要 注意 避免 死 锁 的 情况 出 现 。 
一 般 来 说， 能 够 原子 性 地 获取 需要 的 多 个 锁 ， 或 者 注意 调整 对 多 个 锁 的 
获取 顺序 ， 就 会 比较 好 地 避免 死 锁 。 
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图 1-6 通过 事件 协同 的 多 线程 执行 流程 


下 面 来 看 一 个 死 锁 的 例子 。 我 们 假设 有 两 个 锁 A 和 B， 有 两 个 线程 
T1 和 T2，T1 和 T2 的 某 段 代码 都 需要 获取 A 和 B 两 个 锁 ， 假 设 伪 代 码 如 
下 : 





TI 代码 
A.1lock(); 
B.1lock(); 


B.lock( ) ; 
A.1lock( ); 


那么 ， 可 能 出 现 的 死 锁 如 图 1-7 所 示 。 





图 1-7 等待 顺 序 造成 的 死 锁 


这 个 时 候 ，T1 等 不 到 B， 而 T2 也 等 不 到 A。 下 面 这 种 做 法 可 以 避免 
这 样 的 死 锁 : 


Ti 代码 


A.lock( ); 
B.lock( ) ; 


A.lock( ); 
B.1lock( ) ; 


和 前 面 代 码 相 比 ，T2 线 程 的 获取 锁 的 顺序 发 生 了 变化 ， 现 在 和 T1 
一 样 ， 都 是 先 获 取 A， 然 后 再 获取 B。 这 样 就 可 以 避免 死 锁 。 因 为 两 个 
线程 都 是 先 获 取 A 才 会 接着 获取 B， 就 不 会 出 现 之 前 一 个 线程 持 有 A 等 待 
B， 为 外 一 个 线程 持 有 B 等 得 A 的 情况 了 。 


此 外 ， 我 们 还 有 为 外 一 种 实现 方式 来 避免 死 锁 : 








Ti 代码 


可 以 看 到 ， 我 们 使 用 了 一 个 GetLocks 函 数 ， 这 里 想 表达 的 意思 是 ， 
GetLocks 一 次 性 获取 两 个 锁 ， 当 然 ， 对 于 GetLocks 这 样 的 伪 人 代码， 不同 
平台 的 文 持 是 不 同 的。 例如 ， 在 Windows 系 统 中 ， 就 提供 了 
WaitForMultipleObjects。 


此 外 ， 线 程 之 间 还 会 传递 数据 。 因 为 这 些 线程 共用 进程 的 内 存 空 
间 ， 所 以 线程 间 的 传递 数据 就 相对 容易 一 些 了 。 当 然 ， 后 面 将 提 到 的 进 
程 间 通信 的 手段 ， 在 多 线程 之 间 都 可 以 使 用 。 





1.2.2.5 ”多 进程 模式 


前 面 介 绍 了 单线 程 和 多 线程 ， 下 面 来 看 多 进程 。 我 们 在 前 面 看 到 的 
是 在 单 进程 中 的 线程 模型 ， 下 面 我 们 将 要 关注 的 是 进程 间 的 关系 ， 而 不 
讨论 进程 内 部 是 单线 程 还 是 多 线程 。 


多 进程 和 多 线程 有 比较 多 的 相似 之 处 ， 也 有 不 同 。 首 先 ， 对 于 前 面 
提 到 的 多 线程 会 遇 到 的 状况 以 及 一 些 使 用 方式 ， 多 进程 也 有 类似 的 场 
景 ， 只 是 具体 的 实现 方式 上 会 存在 不 同 。 造 成 不 同 的 最 大 原因 是 ， 线 程 
是 属于 进程 的 ， 一 个 进程 内 的 多 个 线程 共享 了 进程 的 内 存 空间 ; 而 多 个 
进程 之 间 的 内 存 空 间 是 独立 的 ， 因 此 多 个 进程 间 通 过 内 存 共享 、 交 换 数 
据 的 方式 与 多 个 线程 间 的 方式 殊 有 所 不 同 。 此 外 ， 进 程 间 的 通信 、 协 
调 ， 以 及 通过 一 坚 事件 通知 或 者 等 待 一 些 互 斥 锁 的 释放 方面 ， 也 会 与 多 
线程 不 一 样 。 这 些 在 不 同 的 平台 上 所 支持 的 方式 不 同 。 


多 进程 相对 于 单 进程 多 线程 的 方式 来 说 ， 资 源 控制 会 更 容易 实现 ， 
此 外 ， 多 进程 中 的 单个 进程 问题 ， 不 会 造成 整体 的 不 可 用 。 这 两 点 是 多 
进程 区 别 于 单 进程 多 线程 方式 的 两 个 特点 。 当 然 ， 使 用 多 进程 会 比 多 线 
程 稍微 复杂 一 些 。 多 进程 间 可 以 共享 数据 ， 但 是 其 代价 比 多 线程 要 大 ， 
会 涉及 序列 化 与 反 序 列 化 的 开销 。 


而 我 们 的 分 布 式 系统 是 多 机 组 成 的 系统 ， 可 以 近似 看 做 是 把 单机 多 
进程 变 为 了 多 机 的 多 进程 。 当 然 ， 单 机 到 多 机 也 有 些 变 化 。 原 来 在 单机 
OS 上 支持 的 功能 现在 都 需要 男 外 去 实现 了 。 多 机 系统 也 带 来 了 一 个 好 
处 ， 即 当 单个 机 器 出 问题 时 ， 如 果 处 理 得 好 ， 融 不 会 影 啊 整 体 的 集群 。 


回顾 一 下 我 们 从 单线 程 到 多 机 的 系统 ， 其 中 每 次 的 变化 都 使 得 我 们 
































在 处 理 菜 些 功 能 〈 例 如 共享 数据 、 通 信 ) 时 会 有 不 同 ， 而 在 另外 一 个 关 
乎 故障 的 方面 也 会 不 一 样 。 


单线 程 和 单 进程 多 线程 的 程序 在 过 到 机 器 故障 、OS 问 题 或 者 自 导 
的 进程 问题 时 ， 会 导致 整个 功能 不 可 用 。 


对 于 多 进程 的 系统 ， 如 果 过 到 机 器 故障 或 者 OS 问题 ， 那 么 功能 
会 整体 不 可 用 ， 而 如 果 是 多 进程 中 的 某 个 进程 问题 ， 那 么 是 有 可 能 保持 
系统 的 部 分 功能 正常 的 一 一 当然 这 取决 于 多 进程 系统 自身 的 实现 方式 。 

而 在 多 机 系统 中 ， 如 果 遇 到 某 些 机 器 故障 、OS 问 题 或 者 某 些 机 器 
的 进程 问题 ， 我 们 都 有 机 会 来 保证 整体 的 功能 大 体 可 用 可 能 是 部 分 
功能 失效 ， 也 可 能 是 不 再 能 承担 正常 情况 下 那么 大 的 系统 压力 了 。 


从 上 面 的 分 析 可 以 看 出 ， 不 同 的 方式 可 能 造成 的 故障 影响 面 也 是 不 














同 


1.2.3 网络 通信 基础 知识 


学 习 了 在 单机 中 的 线程 、 进 程 的 执行 模式 ， 下 面 我 们 将 要 介绍 的 就 
是 和 网 络 通信 相关 的 知识 。 在 分 布 式 系统 中 ， 组 件 分 布 在 网 络 上 的 多 个 
节点 中 ， 通 过 消息 的 传递 来 通信 并 且 进 行动 作 的 协调 。 因 此 网 络 通信 在 
分 布 式 系统 中 非常 重要 。 


我 们 处 在 一 个 高 速 发 展 的 网 络 时 代 ， 无 论 是 有 线 网 络 还 是 无 线 网 
络 ， 无 论 是 CAN、MAN 还 是 WAN 等 把 众多 节点 联系 在 一 起 的 方式 ， 都 
需要 解决 通信 的 问题 。 





1.2.3.1 OSI 与 TCP/TP 网 络 模型 


首先 我 们 需要 先 看 看 网 络 模型 ， 图 1-8 是 经 典 的 ISO 的 OSI 七 层 模 
型 ， 我 们 在 “计算 机 网 络 > 这 门 课 中 都 会 学 到 。 这 个 模型 考虑 得 比较 全 
面 ， 也 划分 得 比较 细致 。 而 我 们 大 多 数 人 在 平时 工作 中 接触 的 ， 主 要 是 


TCP/IP 的 模型 ， 两 者 的 对 应 关系 可 以 用 图 1-9 来 说 明 。 


Application Application 
Program Program 














































Application Application Layer Application 
Physical Physical 
| | Physical Layer | | 
ER 区 
EEC EEC 
[二 一 | 





图 1-8 ” ISO 的 OSI 网 络 模型 
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图 1-9 OSI 与 TCP/IP 对 照 


我 们 在 这 里 不 过 多 介绍 计算 机 网 络 方面 的 内 容 ， 一 些 关 于 计算 机 网 
络 的 原理 、 网 络 实例 的 分 析 等 ， 可 以 参考 更 加 专业 的 书籍 。 
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1.2.3.2 ”网 络 IO 实 现 方式 


我 们 在 实践 中 接触 比较 多 的 网 络 模 型 主要 是 以 太 网 及 TCP/IP 协 议 
栈 ，UDP 在 一 些 场景 中 也 会 用 到 。 那 么 ， 当 我 们 使 用 Socket 套 接 字 进行 
网 络 通 信 开 发 时 ， 有 哪些 实现 方式 呢 ? 下 面 介 绍 的 就 是 我 们 会 用 到 的 三 
种 方式 : BIO、NIO 和 AIO。 





1. BIO 方 式 


BIO 即 Blocking IO， 采 用 阻塞 的 方式 实现 。 也 就 是 一 个 Socket 套 接 
字 需 要 使 用 一 个 线程 来 进行 处 理 。 发 生 建立 连接 、 读 数据 、 写 数据 的 操 
作 时 ， 都 可 能 会 阻塞 。 这 个 模式 的 好 处 是 简单 ， 相 信 很 多 学 习 网 络 通信 
的 学 生 最 初 写 的 实验 代码 都 是 BIO 的 。 这 样 做 带 来 的 主要 问题 是 使 得 一 
个 线程 只 处 理 一 个 Socket， 如 果 是 Server 端 ， 那 么 在 支持 并 发 的 连接 
时 ， 就 需要 更 多 的 线程 来 完成 这 个 工作 。 


BIO 的 工作 方式 如 图 1-10 所 示 。 








线程 只 
read(), sendl(), closel) 





线程 日 
read(), send(), close() 


线程 C 


read(), send(), closel) 








图 1-10 BIO 的 工作 方式 


2. NIO 方 式 





NIO 即 Nonblocking IO， 基 于 事件 驱动 思想 ， 采 用 的 是 Reactor 模 式 
《如 图 1-11 所 示 ) 。 这 在 Java 实 现 的 服务 端 系统 中 也 是 采用 比较 多 的 一 
种 方式 。 相 对 于 BIO，NIO 的 一 个 明显 的 好 处 是 不 需要 为 每 个 Socket 套 
而 可 以 在 一 个 线程 中 处 理 多 个 Socket 套 接 字 相关 的 
民生 玉 
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sclect (handles) 

forcach h in handles loop 
h->handle_cyent (cvcnt_rrpe} 

end loop 


Reactor 


lL dispatch() Event Handler 


register handler(h, type) handle_event(type) 
remove_handler(h, type) get_handlel) 


MM 





图 1-11 Reactor 模式 


图 1-11 说 明了 Reactor 模 式 的 工作 方式 ，Reactor 会 管理 所 有 的 
handler， 并 有 旦 把 出 现 的 事件 交 给 相应 的 Handler 去 人 处理。 我 们 再 具体 一 
些 ， 看 一 下 它 在 通信 中 的 应 用 ， 如 图 1-12 所 示 。 


反应 扒 (Reacton) 


分 发 
{wait/notify}) 方 式 










图 1-12 ”Reactor 模 式 在 通信 中 的 应 用 


从 图 1-12 中 可 以 看 出 ， 在 NIO 的 方式 下 不 是 用 单个 线程 去 应 对 单个 
Socket 套 接 字 ， 而 是 统一 通过 Reactor 对 所 有 客户 端的 Socket 套 接 字 的 事 
件 做 处 理 ， 然 后 派发 到 不 同 的 线程 中 。 这 样 就 解决 了 BIO 中 为 支撑 更 多 
的 Socket 套 接 字 而 需要 打开 更 多 线程 的 问题 。 


3，AIO 方 式 


AIO 即 AsynchronousIO， 就 是 异步 IO0。AIO 采 用 Proactor 模 式 〈 如 图 
1-13 所 示 ) 。AIO 与 NIO 的 差别 是 ，AIO 在 进行 读 / 写 操作 时 ， 只 需要 调 
用 相应 的 read/write 方 法 ， 并 且 需 要 传 入 CompletionHandler (动作 完成 的 
处 理 器 ) ; 在 动作 完成 后 ， 会 调用 CompletionHandler， 当 然 ， 在 不 同 的 
系统 上 会 有 一 些 细微 的 差异 ， 不 同 的 语言 在 SDK 上 也 会 有 些 差 异 ， 但 总 
体 束 是 这 样 的 工作 方式 。NIO 的 通知 是 发 生 在 动作 之 前 ， 是 在 可 写 、 可 
读 的 时 候 ，Selector 发 现 这 些 事件 后 调用 Handler 处 理 。 


Proactive ee Asynchronous Corrpleion Corrpleion 
Initiator Pr Operation Dispatcher Handler 














图 1-13 ”Proactor 模 式 


上 面 介 绍 了 BIO、NIO 和 AIO 方 式 ， 我 们 也 提供 了 相应 的 例子 程序 
， 当然 ， 所 提供 的 程序 只 是 DEMO， 有 不 少 异 常 的 情况 并 没 
处 理 。 


AIO 是 在 Java 7 中 引入 的 。 在 Java 领 域 ， 服 务 端 的 代码 目前 基本 都 是 
基于 NIO 的 。 而 AIO 和 NIO 的 一 个 最 大 的 区 别 是 ，NIO 在 有 通知 时 可 以 进 
ee ， 例 如 读 或 者 写 ， 而 AIO 在 有 通知 时 表示 相关 操作 已 经 完 





BIO、NIO、AIO 这 几 种 模型 并 不 要 求 客 户 端 和 服务 端 采 用 同样 的 
方式 。 客 户 端 和 服务 端 之 间 的 交互 主要 在 于 数据 格式 或 者 说 是 通信 协 
议 。 在 客户 端 ， 如 果 同 时 连接 数 不 多 ， 采 用 BIO 也 是 一 个 很 好 的 选择 。 


此 外 ， 在 实践 中 也 有 一 些 场景 会 使 用 UDP， 但 就 笔者 的 经 验 看 还 是 








TCP 的 使 用 更 广泛 一 些 。 这 里 就 不 对 UDP 进行 详细 介绍 和 说 明了 。 


人 


1.2.4 如 何 把 应 用 从 单机 扩展 到 分 布 
式 


在 前 面 的 内 容 中 ， 我 们 提 到 了 计算 机 一 共 由 5 部 分 组 成 。 从 使 用 者 
的 角度 来 看 ， 分 布 式 系统 就 像 是 一 个 超级 计算 机 。 那 么 ， 这 个 超级 计算 
机 是 不 是 也 应 该 由 输入 、 输 出 、 运 算 、 存 储 和 控制 这 5 部 分 组 成 呢 ? 我 
们 下 面 尝 试 从 这 个 维度 来 看 一 下 ， 从 单机 变化 到 分 布 式 时 ， 构 成 计算 机 
的 这 5 个 要 素 的 变化 。 








1.2.4.1 输入 设备 的 变化 





分 布 式 系统 由 通过 网 络 连接 的 多 个 节 扣 组成， 那么 ， 输 入 设备 其 实 
可 以 分 为 两 类 ， 一 种 是 互相 连接 的 多 个 节点 ， 在 接收 其 他 节点 传 来 的 信 
恩 时 ， 该 市 扣 可 以 看 做 是 输入 设备 ， 丸 外 一 种 就 是 传统 意义 的 人 机 交互 
的 输入 设备 了 。 








1.2.4.2 ”输出 设备 的 变化 


输出 设备 和 输入 设备 相仿 ， 也 可 以 看 做 有 两 种 ， 一 种 是 指 系统 中 的 
节点 在 回 其 他 市 点 传 递 信息 时 ， 该 节操 可 以 看 做 古 输 出 设备 ， 男 外 一 种 
束 是 传统 意义 的 人 机 交互 的 输出 设备 ， 例 如 终端 用 户 的 屏 磋 等 。 


1.2.4.3 ”控制 器 的 变化 


在 单机 系统 中 ， 控 制 器 指 的 就 是 CPU 中 的 控制 器 。 在 分 布 式 系统 
中 ， 我 们 要 介绍 的 控制 器 不 是 像 CPU 中 的 控制 器 那样 的 具体 电子 元 件 ， 
而 是 分 布 式 系统 中 的 控制 方式 。 


分 布 式 系统 是 由 多 个 节点 通过 网 络 连 接 在 一 起 并 通过 消息 的 传递 进 
人 





我 们 先 来 看 一 下 图 1-14， 如 下 。 


请 求 发 起 请 求 处 理 


请 求 发 起 请 求 处 理 





图 1-14 ”使 用 硬件 负载 均衡 的 请 求 调用 


这 是 一 个 进行 远程 服务 调用 的 场景 ， 其 实 也 就 是 一 个 远程 的 通信 过 
程 。 在 这 个 场景 中 ， 请 求 发 起 方 需要 确定 谁 来 处 理 这 个 请 求 ， 图 1-14 中 
的 方式 是 在 请 求 发 起 方 和 请 求 处 理 方 中 间 有 一 个 硬件 负载 均衡 设备 。 所 
有 的 请 求 部 要 经 过 这 个 负载 均衡 设备 来 完成 请 求 转发 的 控制 。 这 束 是 一 
种 控制 的 方式 。 


类 似 的 ， 我 们 可 以 看 一 下 图 1-15， 如 下 。 











请 求 发 起 


请 求 处 理 
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请 求 发 起 


请 求 处 理 


图 1-15 的 结构 和 图 1-14 是 一 样 的 ， 差 别 仅 在 于 中 间 的 硬件 负载 均衡 
设备 被 更 换 为 了 LVS 当然 也 可 以 是 其 他 的 软件 负载 均衡 系统 ) 。 这 种 
方式 主要 的 特点 是 代价 低 ， 而 且 可 控 性 较 强 ， 即 你 可 以 相对 自由 地 按照 














图 1-15 ”使 用 LVS 的 请 求 调用 

















目 己 的 需要 去 增加 负载 均衡 的 策略 。 


我 们 一 般 称 上 面 的 方式 为 透明 代理 。 在 集群 中 ， 这 种 方式 对 于 发 起 
请 求 的 一 方 和 处 理 请 求 的 一 方 来 将 ， 都 是 透明 的 。 发 起 请 求 的 一 方 会 以 
为 是 中 间 的 代理 提供 了 服务 ， 而 处 理 请 求 的 一 方 会 以 为 是 中 间 的 代理 请 
求 的 服务 。 发 起 请 求 一 方 不 用 关心 有 多 少 台 机 顺 提 供 服 务 ， 也 不 需要 直 
接 知 道 这 些 提供 服务 的 机 器 的 地 址 ， 只 需要 知道 中 间 透 明代 理 的 地 址 就 
行 了 。 这 种 方式 存在 两 个 不 足 。 第 一 个 不 足 是 会 增加 网 络 的 开销 ， 这 个 
开销 一 方面 指 的 是 流量 ， 另 外 一 方面 指 的 是 延迟 。 如 果 使 用 LVS 的 TUN 
或 者 DR 模式 ， 那 么 从 处 理 请 求 服务 器 上 的 返回 结果 会 直接 到 请 求 服务 
的 机 器 ， 不 会 再 通过 中 间 的 代理 ， 只 有 请 求 的 数据 包 在 过 程 中 多 了 一 次 
代理 的 转发 。 在 发 送 请 求 的 数据 包 人 小 而 返回 结果 的 数据 包 大 的 场景 下 ， 
使 用 代理 的 模式 与 不 使 用 代理 的 模式 相 比 只 有 很 小 的 流量 增加 ， 但 是 如 
果 发 送 请 求 的 数据 包 很 大 ， 那 么 流量 增加 还 是 比较 明显 的 。 而 延 时 方 
面 ， 这 里 只 是 根据 这 个 结构 提出 了 该 问题 ， 实 际 的 影响 很 小 。 第 二 个 不 
足 是 ， 这 个 透明 代理 处 于 请 求 的 必 经 路 径 上 ， 如 果 代 理 出 现 问题 ， 那 么 
所 有 的 请 求 都 会 受到 影响 。 我 们 需要 要 考虑 代理 服务 器 的 热 备 份 。 不 
过 ， 在 切换 时 ， 当 时 未 完成 的 请 求 还 是 会 受到 影响 。 当 总 体 来 说 ， 这 有 是 
一 种 非常 方便 、 直 观 的 控制 方式 。 


接 下 来 我 们 看 第 三 种 方式 ， 如 图 1-16 所 示 。 
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图 1-16 采用 名 称 服务 的 直 连 方式 的 请 求 调用 


从 图 1-16 中 我 们 可 以 看 到 ， 同 样 是 完成 请 求 发 起 到 请 求 处 理 的 请 求 
派发 工作 ， 与 透明 代理 方式 最 大 的 区 别 是 ， 在 请 求 发 起 方 和 请 求 处 理 方 
这 两 个 集群 中 间 没 有 代理 服务 器 这 样 的 设备 存在 ， 而 是 请 求 发 起 方 和 请 
求 处 理 方 的 直接 连接 。 在 请 求 发 起 方 和 请 求 处 理 方 的 直接 连接 外 部 ， 有 
一 个 “名 称 服务 ”的 角色 ， 它 的 作用 主要 有 两 个 ， 一 个 是 收集 提供 请 求 处 
理 的 服务 器 的 地 址 信息 ; 另外 一 个 是 提供 这 些 地 址 信息 给 请 求 发 起 方 。 
当然 ， 名 称 服 务 只 是 起 到 了 一 个 地 址 交换 的 作用 ， 在 发 起 请 求 的 机 器 
上 ， 需 要 根据 从 名 称 服务 得 到 的 地 址 进行 负载 均衡 的 工作 。 也 就 是 说 ， 
原来 在 透明 代理 上 做 的 工作 被 拆 分 到 了 名 称 服务 和 发 起 请 求 的 机 器 上 
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这 种 方案 也 存在 着 自己 的 优势 和 不 足 。 首 先 ， 这 个 名 称 服 务 不 是 在 
请 求 的 必 经 路 笃 上 ， 也 就 是 说 ， 如 果 这 个 名 称 服务 出 现 问 题 ， 在 很 多 时 
候 或 者 说 我 们 有 不 少 办 法 可 以 保证 请 求 处 理 的 正常 。 其 次 ， 发 起 请 求 的 
一 方 和 提供 请 求 的 一 方 是 下 连 的 方式 ， 也 减少 了 中 间 的 路 径 以 及 可 能 的 
额外 带宽 的 消耗 。 而 不 方便 的 地 方 主要 是 代码 的 升级 较 复杂 。 


接 下 来 ， 我 们 看 第 四 种 方式 ， 如 图 1-17 所 示 。 
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图 1-17 采用 规则 服务 器 控制 路 由 的 请 求 直 连 调用 


从 图 1-17 中 可 以 看 出 ， 这 种 方式 与 前 面 的 名 称 服 务 的 方式 很 像 ， 只 
是 这 里 采用 的 是 规则 服务 器 的 方式 。 首 先 ， 和 前 面 的 名 称 服务 的 方式 一 
样 ， 在 这 种 控制 下 ， 请 求 发 起 和 请 求 处 理 的 机 器 也 是 直接 连接 的 ， 那 么 
请 求 肥 起 的 一 方 如 何 选择 请 求 处 理 的 机 器 呢 ? 这 束 要 靠 规 则 服务 器 给 的 
规则 了 。 所 以 ， 在 请 求 发 起 的 机 器 上 ， 会 有 对 规则 进行 处 理 从 而 进行 请 
求 处 理 服务 机 器 选择 的 代码 逻辑 。 这 个 方式 与 名 称 服务 方式 的 不 同 在 
于 ， 名 称 服务 是 通过 跟 请 求 处 理 的 机 器 交互 来 获得 这 些 机 器 的 地 址 的 ， 
而 规则 服务 器 的 方式 中 ， 规 则 服务 器 本 喘 并 不 和 请 求 处 理 的 机 顺 进 行 交 
互 ， 只 负责 把 规则 提供 给 请 求 用 起 的 机 器 。 


从 优 缺 点 方面 来 讲 ， 规 则 服务 局 的 方式 和 名 称 服 务 的 方式 比较 类 
似 ， 这 里 就 不 再 痪 述 。 


我 们 接 下 来 再 看 最 后 一 种 方式 ， 如 图 1-18 所 示 。 

































图 1-18 ”Master 十 Worker 的 方式 
图 1-18 的 控制 方式 是 ， 存 在 一 个 Master 节 点 来 管理 任务 ， 由 Master 
把 任务 分 配给 不 同 的 Worker 去 进行 处 理 。 这 种 方式 使 用 的 场景 和 前 面 的 
几 种 不 太一 样 。 这 里 没有 像 前 面 介 绍 的 那 种 请 求 发 起 和 请 求 处 理 ， 这 个 
方式 更 多 的 是 任务 的 分 配 和 管理 。 








1.2.4.4 运算 器 的 变化 





看 完了 控制 器 在 分 布 式 系统 中 的 变化 ， 我 们 接 下 来 看 一 下 运算 器 的 
变化 。 在 单机 系统 中 ， 运 算 絮 是 具体 的 电子 元 件 ， 而 在 分 布 式 系 统 中 ， 
运算 器 是 由 多 个 市 点 来 组 成 的 。 单 机 的 计算 能 力 有 上 限 ， 而 分 布 式 系统 
中 的 运算 喜 是 运用 多 个 节点 的 计算 能 力 来 协同 完成 整体 的 计算 任务 。 


”下面 我 们 先 看 一 个 用 户 访 问 单 人 台 服 务 器 网 站 的 场景 ， 如 图 1-19 所 
示 。 
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图 1-19 单 台 服 务 器 的 网 站 
可 以 看 到 ， 这 是 只 有 单 台 机 器 文 撑 的 网 站 的 情况 。 如 果 随 着 压力 增 
大 ， 我 们 需要 变 为 多 台 服 务 器 ， 例 如 从 一 台 变 为 两 台 ， 那 会 变 成 什么 样 
子 呢 ? 如 图 1-20 所 示 。 


图 1-20 ”两 台 服 务 器 的 网 站 


两 台 服 务 器 一 起 完成 工作 ， 这 里 面 就 有 一 个 问题 ， 用 户 应 该 去 访问 
哪个 服务 器 呢 ? 我 们 有 两 种 做 法 来 解决 ， 第 一 种 做 法 如 图 1-21 所 示 。 






网 站 服务 器 


图 1-21 用 户 访问 两 台 服务 器 的 网 站 
这 种 办 法 是 通过 DNS 服务 器 进行 了 调度 和 控制 ， 在 用 户 解 机 DNS 的 
时 候 ， 就 会 被 给 予 一 个 服务 器 的 地 址 。 这 样 的 方式 看 起 来 就 像 我 们 在 控 
制 右 部 分 提 到 的 名 称 服 务 或 者 规则 服务 器 的 方式 ， 中 间 疫 有 代理 设备 ， 
用 户 能 直接 知道 提供 服务 的 服务 器 的 地 址 。 


我 们 还 有 另外 一 种 方案 ， 如 图 1-22 所 示 。 

















网 站 服务 器 
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图 1-22 用户 访问 有 负载 均衡 的 网 站 


和 前 面 的 方案 不 同 ， 我 们 在 用 户 和 网 站 服务 器 中 间 增 加 了 负载 均衡 
设备 《〈 纯 便 件 或 者 LVS 等 软件 都 可 以 ) 。DNS 返 回 的 永远 是 负载 均衡 的 
地 址 ， 而 用 户 的 访问 都 是 通过 负载 均衡 到 达 后 面 的 网 站 服务 器 。 


总 结 起 来 ， 构 成 运算 器 的 多 个 布点 在 控制 器 的 配合 下 对 外 提供 服 
务 ， 构 成 了 分 布 式 系 统 中 的 运算 器 。 


我 们 再 看 另外 一 个 场景 ， 也 是 一 个 很 经 典 的 场景 -日 志 的 处 理 ， 如 
图 1-23 所 示 。 
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应 用 服务 器 
日 志 处 理 服 务 器 [日 志 源 ) 


应 用 服务 器 
(日 志 源 ) 





























图 1-23 单 日 志 处 理 服务 器 的 日 志 处 理 


我 们 用 一 台 日 志 处 理 服务 器 从 多 台 ( 例 子 中 是 3 台 ) 服务 器 上 收集 
日 志 并 处 理 。 随 着 应 用 服务 右 的 增多 ， 单 台 日 志 人 处 理 服 务 器 一 定 会 过 到 
问题 。 那 么 ， 我 们 可 以 通过 增加 日 志 处 理 服务 器 的 数量 来 提升 处 理 日 志 
的 能 力 。 一 种 方案 如 图 1-24 所 示 ， 就 是 把 前 面 看 到 的 Master+Worker 方 
式 的 控制 器 运用 到 了 这 个 日 志 处 理 的 场景 。 















应 用 服务 器 


图 1-24 ” ”Master 控制 的 多 日 志 处 理 服 务 器 的 日 志 处 理 


除了 使 用 Master 控 制 日 志 处 理 服务 器 集群 方式 外 ， 我 们 也 可 以 采用 
规则 服务 器 的 方式 来 协调 日 志 处 理 服 务 器 的 动作 ， 如 图 1-25 所 示 。 
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旨 志 源 ) 


日 志 处 理 服务 器 L 人 

日 志 处 理 服务 器 久 
图 1-25 ”规则 服务 器 管理 的 多 日 志 处 理 服务 器 的 日 志 处 理 
使 用 规则 服务 器 来 分 配 任务 可 能 存在 的 最 大 问题 是 任务 分 配 不 均 


衡 。 用 Master 节 点 的 方式 会 对 任务 的 分 配 做 得 更 好 些 ， 不 容易 导致 处 理 
不 均衡 的 问题 。 



































1.2.4.5 ”存储 器 的 变化 


接着 我 们 来 看 一 下 存储 器 的 变化 。 在 单机 系统 ， 我 们 一 般 把 存储 器 
分 为 内 存 和 外 存 ， 内 存 的 数据 在 机 器 断 电 、 重 局 或 OS 崩 演 的 情况 下 会 
丢失 ， 而 外 存 是 用 于 长 久保 存 数 据 的 。 当 然 ， 外 存 也 不 是 绝对 可 靠 的 。 
在 分 布 式 系统 中 ， 我 们 需要 把 承担 存储 功能 的 多 个 节点 组 织 在 一 起 ， 使 
之 看 起 来 是 “一 个 ”存储 器 。 如 同和 运算 器 部 分 的 介绍 一 样 ， 在 存储 器 中 ， 
我 们 也 需要 通过 控制 器 的 配合 来 完成 工作 。 下 面 使 用 最 基础 的 Key- 
Value 场景 来 介绍 ， 如 图 1-26 所 示 。 
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图 1-26 单机 的 Key-Value 服 务 


图 1-26 中 的 场景 是 多 个 应 用 服务 器 使 用 单个 KV 存储 服务 器 的 场 
景 。 随 着 数据 量 的 发 展 ， 我 们 需要 把 图 中 的 一 台 KV 存 储 服 务 器 扩展 到 
两 台 来 提供 服务 。 那 么 ， 我 们 该 如 何 完 成 这 个 扩展 呢 ? 

首先 来 看 第 一 种 方案 〈 如 网 1-27 所 示 ) ， 在 应 用 服务 器 与 KV 存 储 
服务 器 之 间 加 了 一 个 代理 服务 器 。 这 个 代理 服务 器 作为 控制 器 转发 来 自 
于 应 用 服务 器 的 请 求 。 而 转发 请 求 使 用 的 策略 与 具体 业务 有 非常 密切 的 
关系 。 一 般 可 以 根据 请 求 的 Key 进 行 划 分 (Sharding) 。 
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图 1-27 ”使 用 代理 的 多 机 Key-Value 服 务 
接 下 来 我 们 看 一 下 第 二 种 方案 ， 如 图 1-28 所 示 。 
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图 1-28 ”使 用 名 称 服务 的 Key-Value 服 务 


图 1-28 采 用 了 名 称 服务 的 方案 。 在 这 个 方案 中 ， 名 称 服务 用 于 管理 
在 线 的 KV 存 储 服务 器 ， 并 且 把 地 址 传 到 应 用 服务 器 这 边 。 应 用 服务 器 
会 和 KV 存储 服务 器 直接 联系 。 接 下 来 看 到 的 男 外 两 种 结构 与 现在 这 个 
图 所 示 的 结构 有 些 类 似 ， 不 过 具体 的 细节 实现 上 有 很 大 差异 。 


图 1-28 的 结构 中 ， 我 们 让 应 用 服务 器 与 KV 存 储 服 务 器 直接 连接 ， 














那么 KV 服务 器 的 选择 逻辑 就 放 在 了 应 用 服务 器 上 完成 。 在 实践 中 我 们 
根据 不 同 场景 有 两 种 实施 经 验 ， 一 个 是 通过 规则 服务 器 的 配合 ， 完 成 固 
定 的 Sharding 策 略 ; 另外 一 个 则 是 对 等 看 待 多 台 KV 存 储 服务 器 ， 能 够 灵 
活 地 适应 KV 存储 服务 器 的 增加 和 减少 ， 这 一 方案 我 们 放 在 后 续 章 节 的 
消息 中 间 件 里 面 一 起 讲 ， 那 时 这 个 方案 就 是 用 在 了 消息 中 间 件 上 。 


下 面 我 们 来 看 一 下 使 用 规则 服务 器 的 情况 (如 图 1-29 所 示 〉。 
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图 1-29 ”使 用 规则 服务 器 的 Key-Value 服 务 


从 图 1-29 中 可 以 看 到 ， 我 们 省 去 了 名 称 服 务 。 其 实在 这 个 场景 中 ， 
规则 服务 器 的 规则 不 仅 写 明了 如 何 对 数据 做 Sharding， 还 包含 了 具体 的 
目标 KV 存储 服务 占 的 地 址 。 例 如 ， 两 台 KV 存 储 服务 器 存储 的 是 用 户 数 
据 ， 假 设 我 们 的 规则 是 用 户 编 号 为 奇数 的 数据 全 部 保存 在 第 一 人 台 ， 用 户 
编号 为 偶数 的 数据 全 部 保存 在 第 二 合 ， 那 么 在 规则 服务 器 中 就 会 有 规则 
来 描述 这 个 状况 ， 并 且 会 把 具体 符合 茶 个 规则 后 需要 访问 的 KV 存 储 服 
务 融 的 地 址 《可 能 是 也 地址， 也 可 能 是 域名 ) 写 在 规则 中 。 所 以 ， 这 样 
可 以 省 略 掉 名 称 服务 了 。 不 过 这 时 你 肯定 有 一 个 问题 要 问 ， 即 如 果 KV 
存储 服务 器 出 故障 了 或 者 新 增加 了 ， 没 有 名 称 服 务 的 感知 ， 怎 么 让 应 用 
服务 器 知道 呢 ? 这 是 一 个 很 好 的 问题 ， 不 过 对 于 提供 持久 数据 服务 的 情 
况 ， 增 加 市 点 远 比 增加 一 个 无 状态 的 只 进行 计算 的 市 点 要 难 。 在 后 面 的 
数据 访问 层 的 章节 中 会 进行 更 加 详细 的 介绍 。 


下 面 再 来 看 最 后 一 种 方案 ， 如 图 1-30 所 示 。 
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图 1-30 ”通过 Master 控 制 的 Key-Value 服 务 


图 1-30 与 前 面 规则 服务 器 及 名 称 服务 的 图 看 起 来 很 像 ， 但 是 对 应 位 
置换 成 了 Master。 这 个 结构 同样 是 应 用 服务 器 直接 访问 KV 存储 服务 器 
的 。 不 同 的 是 ，Master 古 根据 请 求 返回 目标 KV 存储 服务 器 地 址 ， 然 后 
由 应 用 服务 器 直接 去 访问 对 应 的 KV 存储 服务 器 。 相 比 名 称 服 务 的 方 
式 ，Master 是 根据 请 求 返 回 对 应 的 KV 存储 服务 器 地 址 ， 而 不 是 返回 所 
有 地 址 ， 所 以 具体 的 KV 存 储 服务 器 选择 工作 在 Master 上 惑 完成 了 了， 应 
用 服务 器 上 不 需要 有 更 多 的 逻辑 ， 相 比 规则 服务 絮 的 方式 ，Master 并 不 
征 把 规则 传 给 有 具体 应 用 服务 器 ， 再 由 应 用 服务 器 去 解析 并 完成 规则 下 的 
路 由 选择 ， 而 是 Master 目 身 完 成 了 这 个 事情 后 把 结果 传 给 应 用 服务 器 ， 
应 用 服务 器 只 需要 根据 返回 的 结果 去 访问 这 个 KV 存储 服务 器 束 可 以 
0 ee 
列子 -。 


至 此 ， 我 们 依次 介绍 了 冯 : 话 依 曙 模型 中 计算 机 的 5 个 组 成 部 分 从 单 
机 人 到 分 布 式 的 变化 。 下 面 我 们 来 了 解 一 下 分 布 式 系统 中 的 难点 和 挑战 。 


1.2.5 分布 却 系 统 的 难点 


1.2.5.1 ”缺乏 全 局 时 钟 


























在 单机 系统 中 ， 程 序 吕 以 这 个 单机 的 时 钟 为 准 ， 控 制 时 序 比 较 容 
易 。 在 分 布 式 系 统 中 ， 每 个 节点 都 有 目 己 的 时 钟 ， 在 通过 相互 发 送 消 奶 














进行 协调 时 ， 如 果 仍 然 依赖 时 序 ， 就 会 相对 难处 理 。 保 持 每 个 市 点 的 时 
钟 完全 一 致 可 能 是 直觉 上 首先 想到 的 办 法 ， 如 果 能 够 做 到 ， 那 么 一 些 分 
布 式 系统 中 的 工程 实现 就 会 简单 很 多 。 不 过 这 个 方式 本 身 并 没 办 法 实 
现 ， 因 为 同步 本 身 束 存在 着 时 间 兰 ， 因 此 我 们 需要 有 其 他 办 法 来 解决 这 
个 问题 。 很 多 时 候 我 们 使 用 时 钟 ， 它 可 以 区 分 两 个 动作 的 顺序 ， 而 不 是 
一 定 要 知道 准确 的 时 间 。 对 于 这 种 情况 ， 我 们 可 以 把 这 个 工作 区 给 一 个 
单独 的 集群 来 完成 ， 通 过 这 个 集群 来 区 分 多 个 动作 的 顺序 。 

此 外 ， 在 单机 系统 中 我 们 提 到 过 在 多 线程 和 多 进程 中 使 用 的 锁 ， 到 


了 分 布 式 环境 中 也 需要 有 相应 的 办 法 来 处 理 。 我 们 在 这 里 先 不 展开 ， 后 
面 的 章节 会 具体 介绍 相关 实现 。 























1.2.5.2 ”而 对 故障 独立 性 


分 布 式 系统 由 多 个 市 点 组 成 ， 整 个 分 布 式 系 统 完全 出 问题 的 概率 是 
存在 的 ， 但 是 在 实践 中 出 现 更 多 的 是 茶 个 或 者 东 些 节点 有 问题 ， 而 其 他 
节点 及 网 络 设备 等 都 没 问 题 。 这 种 情况 提醒 我 们 在 开发 实现 分 布 式 系统 
时 对 问题 的 考虑 要 更 加 全 面 。 


对 于 单机 系统 来 说 ， 我 们 如 果 不 使 用 多 进程 方式 的 话 ， 基 本 不 会 遇 
到 独立 的 故障 。 就 是 说 在 单机 系统 上 的 单 进程 程序 ， 如 果 是 机 器 问题 、 
OS 问 题 或 者 程序 目 身 的 问题 ， 基 本 的 结果 就 是 我 们 的 程序 整体 不 能 
了 ， 不 会 出 现 一 些 模块 不 行 男 一 些 模块 可 以 的 情况 。 而 在 分 布 式 系 统 
中 ， 整 个 系统 的 一 部 分 有 问题 而 其 他 部 分 正常 是 经 第 出 现 的 情况 ， 我 们 
称 之 为 故障 独立 性 。 我 们 在 实现 分 布 式 系统 的 时 候 ， 必 须要 找到 应 对 和 
解决 故障 独立 性 的 办 法 。 

















1.2.5.3 ”处 理 单 点 故障 


在 整个 分 布 式 系统 中 ， 如 果 某 个 角色 或 者 功能 只 有 某 台 单机 在 文 
撑 ， 那 么 这 个 节点 称 为 单 点 ， 其 发 生 的 故障 称 为 单 点 故障 ， 也 是 稼 说 的 
SPoF (Single Point of Failure) 。 我 们 需要 在 分 布 式 系统 中 尽量 避免 出 
现 单 点 ， 尺 量 保证 我 们 的 功能 都 是 由 集群 完成 的 。 避 人 免 单 点 的 关键 就 是 
把 这 个 功能 从 单机 实现 变 为 集群 实现 ， 当 然 ， 这 种 变化 一 般 会 比较 困 





难 ， 否 则 就 不 太 会 有 单 点 问题 了 。 如 条 不 能 够 把 单机 实现 变 为 集群 实 
现 ， 那 么 一 般 还 有 男 外 两 种 选择 : 


给 这 个 单 点 做 好 备份 ， 能 够 在 出 现 问题 时 进行 恢复 ， 并 且 尺 量 做 到 
目 动 恢复 ， 降 低 恢复 需要 用 的 时 间 。 

降低 单 点 故障 的 影响 范围 。 对 于 第 二 种 选择 ， 我 们 举 个 例子 来 说 

明 。 这 里 先 声 明 一 下 ， 下 面 的 例子 主要 是 帮助 大 家 理解 ， 并 不 是 最 
好 的 解决 方案 。 


如 图 1-31 所 示 ， 这 个 是 一 个 交易 网 站 的 部 分 ， 应 用 访问 交易 数据 。 
交易 数据 放 在 一 个 数据 库 中 ， 这 束 形 成 了 单 点 。 当 然 在 现实 中 ， 我 们 会 
给 这 个 数据 库 增加 一 个 备 库 以 解决 容 灾 的 问题 。 现 在 看 到 的 这 个 场景 
中 ， 如 果 这 台数 据 库 的 机 器 出 问题 ， 那 么 会 影响 所 有 与 交易 相关 的 操 
作 。 虽 然 这 合 数 据 库 出 现 问题 的 概率 不 高 ， 但 是 一 旦 出 现 后 果 就 非 钊 严 
重 。 我 们 可 以 考虑 拆 分 数据 ， 如 图 1-32 所 示 。 

















图 1-31 交易 网 站 示意 图 








图 1-32” 拆 分 数据 的 交易 网 站 示意 图 


我 们 把 原来 的 一 个 交易 数据 库 拆 为 了 两 个 〈 根 据 一 定 的 规则 做 
Sharding) ， 那 么 ， 在 单个 数据 库 出 现 问题 时 ， 影 啊 的 就 不 会 是 全 部 范 
围 了 。 当 且 仅 当 这 两 全 数据库 同时 发 生 故 障 才 会 影响 全 部 范围 。 因 此 ， 
如 末 我 们 把 这 个 数据 库 拆 成 更 多 份 ， 单 个 数据 库 出 现 问题 的 影响 面 就 更 
小 了 。 需 要 多 人 台 机 需 同 时 出 现 问题 才 会 出 现 严 重 故 障 ， 这 个 概率 惑 比 较 
低 了 。 但 是 ， 一 台数 据 库 拆 分 到 多 合 数据 库 后 ， 出 现 故障 的 次 数 和 总 时 
间 会 比 单 台 数据 库 的 时 候 要 多 。 也 就 是 说 ， 我 们 增加 了 故障 出 现 的 次 数 
和 时 间 ， 降 低 了 故障 的 影响 面 。 从 本 质 上 说 ， 这 种 方式 更 多 的 是 转移 和 
交换 ， 而 没有 真正 解决 或 者 帮助 解决 单 点 故障 。 








1.2.5.4 事务 的 挑战 


在 数据 库 理 论 中 我 们 都 了 解 过 ACID。 相 对 来 说 ， 单 机 的 事务 会 容 
易 很 多 。 在 分 布 式 环境 中 ， 如 何 解决 事务 问题 也 是 一 个 重要 的 部 分 。 可 
能 读者 都 听 说 过 两 阶段 提交 (2PC) 、 最 终 一 致 、BASE、CAP、Paxos 
等 ， 在 这 里 我 们 先 不 做 展开 ， 后 续 的 章节 会 有 相应 的 介绍 。 


人 至此， 我 们 把 分 布 式 系统 中 比较 基本 的 侦 实 践 的 知识 问 大 家 做 了 介 
绍 。 在 第 2 章 中 我 们 将 看 一 下 大 型 网 站 及 其 架构 演进 过 程 。 








第 2 章 ”大 型 网 站 及 其 架构 演进 过 程 
2.1 什么 是 大 型 网 站 


通过 第 1 章 我 们 了 解 了 分 布 式 系统 的 相关 基础 知识 ， 大 型 网 站 是 一 
种 很 常见 的 分 布 式 系统 ， 而 本 书 重 点 要 介绍 的 中 间 件 系统 也 是 在 大 型 网 
站 的 架构 变化 中 出 现 并 发 展 的 ， 那 么 我 们 很 有 必要 从 大 型 网 站 的 架构 演 
进 过 程 入 手 ， 先 从 整体 上 了 解 这 个 变化 过 程 。 首 先 ， 我 们 来 看 一 下 怎样 
的 网 站 被 称 为 大 型 网 站 。 


关于 大 型 网 站 的 定义 ， 在 学 术 上 并 没有 精确 地 定义 ， 下 面 是 将 笔者 
目 己 的 理解 介绍 给 大 家 。 


网 站 是 用 来 访问 的 ， 访 问 量 大 就 应 该 是 大 型 网 站 。 这 个 说 法 不 全 
对 ， 从 www.alexa.com 上 可 以 看 到 不 同 网 站 的 大 概 访问 量 ， 排 在 前 面 的 
都 是 比较 出 名 且 大 型 的 网 站 。 不 过 我 在 这 里 举 一 个 反例 ， 在 我 写 这 段 内 
容 的 时 候 ， 下 面 这 个 网 站 在 中 国 的 Traffic Rank 的 排名 是 第 179 位 ， 在 整 
个 互联 网 的 排名 是 第 1301 位 ， 这 个 网 站 怎么 说 也 不 算 小 了 。 来 看 看 我 说 
的 是 哪个 网 站 吧 ， 如 图 2-1 所 示 。 














Site Information for tao123.com | Gat Details | 


芒 Alexa Traffic Rank: 1.301 国 Traffic Rank in CN: 179 
cf Sites Linking In: 4,516 





Search Results for tao123.com 
图 2-1 Alexa 上 tao123.com 的 排名 信息 


再 看 看 这 个 站 点 ， 如 图 2-2 所 示 。 
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看 到 这 里 ， 我 想 大 家 不 会 认为 上 面 这 个 网 站 本 里 是 一 个 大 型 网 站 
了 。 这 么 看 来 访问 量 很 大 不 是 成 为 大 型 网 站 的 一 个 充分 条 件 。 


我 们 再 看 看 数据 量 ， 数 据 量 应 该 是 我 们 关注 的 另 一 个 维度 的 条 件 。 
一 个 大 型 网 站 应 该 有 大 量 的 数据 ， 或 者 说 是 海量 数据 才 行 。 


在 我 看 来 ， 访 问 量 和 数据 量 二 者 缺 一 不 可 。 仅 有 访问 量 的 例子 前 面 
己 经 给 大 家 看 了 ; 对 于 仅 有 数据 量 的 情况 ， 我 们 可 以 简单 想象 一 下 ， 一 
个 网 站 有 非常 多 的 数据 ， 可 是 每 天 访问 量 很 低 ， 页 面 浏览 量 (PV) 也 
很 低 ， 那 这 个 网 站 肯定 也 不 算是 大 型 网 站 。 此 外 ， 除 了 海量 数据 和 高 并 
发 的 访问 量 ， 本 身 业 务 和 系统 的 复杂 度 也 是 考察 的 方面 。 


大 型 网 站 要 支撑 海量 的 数据 和 非常 高 并 发 的 访问 量 ， 那 么 它 肯 定 是 
一 个 分 布 式 系统 。 即 便 你 用 小 型 机 而 不 是 PC Server， 你 也 需要 用 集群 来 
文 撑 而 不 是 靠 单机 。 我 没有 见 过 也 没有 用 过 大 型 机 ， 关 于 用 大 型 机 来 实 
现 的 情况 ， 这 里 暂 不 讨论 。 





























2.2 ”大 型 网 站 的 染 构 涯 进 


我 们 现在 常用 的 大 型 网 站 部 是 从 小 网 站 一 步 一 步 友 展 起 来 的 ， 这 个 
过 程 中 会 有 一 些 通 用 的 问题 要 解决 ， 而 这 些 也 是 我 们 构建 中 间 件 系统 的 
基础 ， 那 么 我 们 就 从 最 简单 的 网 站 结构 开始 ， 看 看 随 着 网 站 从 小 到 大 的 
变化 ， 网 站 架构 发 生 了 哪些 变化 ，。 


2.2.1 用 Java 技 术 和 单机 来 构建 的 网 
站 


我 们 先 从 最 简单 的 开始 吧 。 说 到 做 网 站 ， 不 管 大 家 是 自己 动手 实践 
过 ， 还 是 昕 说 过 ， 肯 定 能 反应 出 很 多 技术 名 词 ， 例 如 LAMP、MVC 框 
架 、JSP、Spring、Struts、Hibernate、HTML、CSS、JavaScript、 
Python， 等 等 。 


笔者 最 早 接触 网 站 是 在 1998 年 ， 那 个 时 候 主 要 是 上 网 看 新 闻 、 收 发 
电子 邮件 ， 当 时 只 了 解 HTML。 到 了 2000 年 的 时 候 ， 接 触 了 一 些 ASP， 
弄 明 白 怎 么 做 动态 的 内 容 。 当 时 ， 大 家 都 是 在 自己 的 机 器 上 搭建 一 个 
环境 来 学 习 相关 技术 ， 或 者 做 开发 和 测试 。 我 们 可 以 看 一 下 采用 Java 技 
术 、 使 用 单机 构建 的 网 站 的 样子 。 


我 们 基本 上 会 选择 一 个 开源 的 Server 作 为 容 顷 ， 和 直接 使 用 
JSP/Servlet 等 技术 或 者 使 用 一 些 开源 框架 来 构建 我 们 的 应 用 ; 选择 一 个 
数据 库 管 理 系统 来 存储 数据 ， 通 过 JDBC 进 行 数 据 库 的 连接 和 操作 一 一 
这 样 ， 一 个 最 基础 的 环境 束 可 以 工作 了 (如 图 2-3 所 示 〉。 相 信 很 多 在 
学 校 接触 网 站 开发 的 同学 都 是 从 这 样 的 做 法 开始 的 。 

















Application Server 





图 2-3 ”技术 单机 构建 的 网 站 


对 于 实际 的 大 型 网 站 来 说 ， 情 况 远 比 我 们 看 到 的 这 个 例子 要 复杂 。 
我 们 回顾 一 下 在 前 面 章节 中 讲 到 的 计算 机 的 组 成 部 分 ， 在 大 型 网 站 中 ， 
其 实 最 核心 的 功能 就 是 计算 和 存储 。 在 图 2-3 中 ，DB 就 是 用 来 存储 数据 
的 ， 而 Application ”Server 完 成 了 业务 功能 和 人 逻辑， 是 用 于 计算 的 。 一 个 
网 站 从 小 到 大 的 演进 可 以 说 都 是 在 围绕 着 这 两 个 方面 进行 处 理 。 因 此 图 
2-3 所 示 的 网 站 可 以 作为 我 们 的 一 个 起 点 。 


2.2.2 ”从 一 个 单机 的 交易 网 站 说 起 


为 了 更 好 地 说 明 网 站 从 小 到 大 的 演进 过 程 ， 我 们 下 面 举 一 个 交易 类 
网 站 的 例子 。 当 然 ， 这 个 例子 和 架构 的 变化 过 程 并 不 是 茶 一 个 具体 交易 











类 网 站 的 真实 过 程 ， 而 是 故 合 了 通用 的 架构 变化 方式 的 一 个 示例 ， 这 样 
能 更 好 地 说 明 问 题 。 


此 外 ， 还 有 两 点 要 说 明 。 首 先 ， 我 们 下 面 重点 关注 的 是 随 着 数据 
量 、 访 问 量 提 升 ， 网 站 结构 发 生 了 什么 变化 ， 而 不 关注 具体 的 业务 功能 
点 。 其 次 ， 下 面 的 网 站 演进 过 程 是 为 了 让 大 家 更 好 地 了 解 网 站 演进 过 程 
J 
YHo 


作为 一 个 交易 网 站 ， 需 要 具备 的 最 基本 功能 有 三 部 分 : 











。 用 户 
用户 注 册 
。 用 户 管 理 
。 信息 维护 


O 


ee 


现在 的 交易 网 站 有 很 多 ， 并 且 功 能 非常 丰富 。 我 们 从 简单 的 开始 ， 
假设 我 们 只 文 持 这 三 部 分 的 功能 ， 那 么 ， 基 于 Java 技 术 用 单机 来 构建 这 
个 交易 网 站 的 话 ， 大 概 会 是 图 2-4 的 样子 。 
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图 2-4 





基于 Java 技 术 用 单机 构建 的 交易 网 站 

与 图 2-3 的 结构 是 一 样 的 ， 在 这 里 有 两 个 地 方 需要 注意 ， 即 各 个 功 
能 模块 之 间 是 通过 JVM 内 部 的 方法 调用 来 进行 交互 的 ， 而 应 用 和 数据 库 
之 间 是 通过 JDBC 进 行 访问 的 。 后 面 围绕 着 这 两 个 部 分 会 有 不 同 的 变 
人 





人 


2.2.3 单机 负载 告警 ， 数 据 库 与 应 用 
分 向 


我 们 很 幸运 ， 网 站 对 外 服务 后 ， 访 问 量 不 断 增 大 ， 我 们 这 个 服务 器 
的 负载 持续 升 高 ， 必 须要 采取 一 些 办 法 来 应 对 了 。 这 里 我 们 先 不 考虑 更 


换 机 器 或 各 种 软件 层面 的 优化 。 我 们 来 看 一 下 结构 上 的 变化 。 首 移 我 们 
可 以 做 的 束 是 把 数据 库 与 应 用 从 一 台 机 器 分 到 两 台 机 右 ， 那 么 ， 我 们 的 
网 站 结构 会 变 成 图 2-5 所 示 的 样子 。 
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图 2-5 ”应 用 与 数据 库 分 开 的 结构 


网 站 的 机 器 从 一 台 变 成 了 两 台 ， 这 个 变化 对 于 我 们 来 说 影响 很 小 。 
单机 的 情况 下 ， 我 们 的 应 用 也 是 采用 JDBC 的 方式 同 数据 库 进 行 连接 ， 
现在 数据 库 与 应 用 分 开 了 ， 我 们 只 是 在 应 用 的 配置 中 把 数据 库 的 地 址 从 
0 0 
in| 。 





调整 以 后 我 们 能 够 缓解 当前 的 系统 压力 ， 不 过 随 着 时 间 的 推移 ， 访 
问 量 继续 增 大 ， 我 们 的 系统 还 是 需要 继续 演进 的 。 


2.2.4 应 用 服务 喜 负 载 告警 ， 如 何 让 
应 用 服务 器 走向 集群 


我 们 接着 看 一 下 应 用 服务 器 压力 变 大 的 情况 。 


应 用 服务 器 压力 变 大 时 ， 根 据 对 应 用 的 监测 结果 ， 可 以 有 针对 性 地 
进行 优化 。 我 们 这 里 要 介绍 的 是 把 应 用 从 单机 变 为 集群 的 优化 方式 。 


先 来 看 一 下 这 个 变化 ， 如 图 2-6 所 示 。 
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图 2-6 ”应 用 服务 器 集群 
在 图 2-6 中 ， 应 用 服务 器 从 一 台 变 为 了 两 台 。 这 两 个 应 用 服务 器 之 


间 没 有 直接 的 交互 ， 它 们 都 是 依赖 数据 库 对 外 提供 服务 的 。 在 增加 了 一 
台 应 用 服务 器 后 ， 我 们 有 下 面 两 个 问题 需要 解决 : 














。 最 终 用 户 对 两 个 应 用 服务 器 访问 的 选择 问题 。 这 在 前 面 的 章节 提 到 
过 ， 可 以 通过 DNS 来 解决 ， 也 可 以 通过 在 应 用 服务 器 集群 前 增加 负 
载 均衡 设备 来 解决 。 我 们 这 里 选择 第 二 种 方案 。 

。 Session 的 问题 。 接 下 来 就 会 详细 讲述 。 


2.2.4.1 引入 负载 均衡 设备 


采用 了 负载 均衡 设备 后 ， 系 统 的 结构 看 起 来 如 图 2-7 所 示 。 
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图 2-7 引入 负载 均衡 设备 的 结构 


这 时 ， 我 们 会 遇 到 一 个 与 Session 相 关 的 问题 ， 下 面 介绍 什么 是 
Session 问 题 ， 以 及 如 何 解 决 它 。 


2.2.4.2 ”解决 应 用 服务 嚣 变 为 集群 后 的 Session 问 题 


先 来 看 一 下 什么 是 Session。 


用 户 使 用 网 站 的 服务 ， 基 本 上 需要 浏览 器 与 Web 服 务 右 的 多 次 交 
互 。HTTP 协 议 本 身 是 无 状态 的 ， 需 要 基于 HTTP 协 议 文 持 会 话 状态 
(Session State) 的 机 制 。 而 这 样 的 机 制 应 该 可 以 使 Web 服务 堪 从 多 次 单 


独 的 HTTP 请 求 中 看 到 “会 话 ?>， 也 就 是 知道 哪些 请 求 是 来 自 哪 个 会 话 
的 。 具 体 实现 方式 为 : 在 会 话 开始 时 ， 分 配 一 个 唯一 的 会 话 标识 
(SessionId) ， 通 过 Cookie 把 这 个 标识 告诉 浏览 器 ， 以 后 每 次 请 求 的 时 
修 ， 浏 览 器 都 会 带 上 这 个 会 话 标识 来 告诉 Web 服 务 器 请 求 是 属于 哪个 会 
话 的 。 在 web 服务器 上 ， 各 个 会 话 有 独立 的 存储 ， 保 存 不 同 会 话 的 信 
晨 。 如 果 人 过 到 禁用 Cookie 的 情况 ， 一 般 的 做 法 就 是 把 这 个 会 话 标识 放 到 
URL 的 参数 中 。 我 们 可 以 通过 图 2-8 来 看 一 下 上 述 过 程 。 
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图 2-8 Session 


当 我 们 的 应 用 服务 器 从 一 台 变 到 两 人 台 后 ， 如 同 图 2-7 中 的 结构 ， 我 








们 就 会 遇 到 Session 的 问题 了 。 具 体 是 指 什么 问题 呢 ? 


我 们 来 看 图 2-9， 当 一 个 带 有 会 话 标 识 的 HTTP 请 求 到 了 了 Web 服务 器 
后 ， 需 要 在 HTTP 请 求 的 处 理 过程 中 找到 对 应 的 会 话 数据 (Session)〉。 
而 间 题 就 在 于 ， 会 话 数据 是 需要 保存 在 单机 上 的 。 


在 图 2-9 所 示 的 网 站 中 ， 如 果 我 第 一 次 访问 网 站 时 请 求 落 到 了 左边 
的 服务 器 ， 那 么 我 的 Session 就 创建 在 左边 的 服务 器 上 了 ， 如 果 我 们 不 做 
处 理 ， 就 不 能 保证 接 下 来 的 请 求 每 次 都 落 在 同一 边 的 服务 器 上 了 ， 这 丈 


是 Session 问 题 。 
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图 2-9 ”负载 均衡 、 应 用 集群 与 Session 











我 们 看 看 这 个 问题 的 几 种 解决 方案 。 
1. Session Sticky 


在 单机 的 情况 下 ， 会 话 保 存在 单机 上 ， 请 求 也 都 是 由 这 个 机 器 处 
理 ， 所 以 不 会 有 问题 。Web 服 务 需 变 成 多 合 以 后 ， 如 果 保 证 同一 个 会 话 
的 请 求 都 在 同一 个 Web 服务器 上 处 理 ， 那 么 对 这 个 会 话 的 个 体 来 说 ， 与 
之 前 单机 的 情况 是 一 样 的 。 


如 条 要 做 到 这 样 ， 就 需要 负载 均衡 器 能 够 根据 每 次 请 求 的 会 话 标识 
来 进行 请 求 转发 ， 如 图 2-10 所 示 ， 称 为 Session Sticky 方 式 。 
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图 2-10 ”Session Sticky 方 式 


这 个 方案 本 身 非常 简单 ， 对 于 Web 服 务 器 来 说 ， 该 方案 和 单机 的 情 
况 是 一 样 的 ， 只 是 我 们 在 负载 均衡 左上 做 了 “手脚 ?。 这 个 方案 可 以 让 同 
样 Session 的 请 求 每 次 都 发 送 到 同一 个 服务 器 端 处 理 ， 非 常 利于 针对 
Session 进 行 服 务 器 端 本 地 的 缓存 。 不 过 也 带 来 了 如 下 几 个 问题 : 














。 如 采 有 一 人 台 Web 服 务 器 宕 机 或 者 重启 ， 那 么 这 人 台 机 器 上 的 会 话 数据 
会 丢失 。 如 如 果 会 话 中 有 登录 状态 数据 ， 那 么 用 户 束 要 重新 登录 
J 六 

。 会 话 标识 是 应 用 层 的 信息 ， 那 么 负载 均衡 句 要 将 同一 个 会 话 的 请 求 
都 保存 到 同一 个 Web 服 务 占 上 的 话 ， 束 需要 进行 应 用 层 〈( 第 7 层 ) 
的 解析 ， 这 个 开销 比 第 4 层 的 交换 要 大 。 











。 负载 均衡 句 变 为 了 一 个 有 状态 的 节点 ， 要 将 会 话 保存 到 具体 Web 服 
和 无 状态 的 节 氮 相 比 ， 内 存 消耗 会 更 大 ， 容 灾 方面 会 
生 烦 。 


这 种 方式 我 们 称 为 Session Sticky。 打 个 比方 来 说 ， 如 果 说 Web 服 务 
器 是 我 们 每 次 吃饭 的 饭店 ， 会 话 数据 就 是 我 们 吃饭 用 的 碗 第 。 要 保证 每 
次 吃饭 都 用 自己 的 碗 筷 的 话 ， 我 就 把 餐具 存在 某 一 家 ， 并 且 每 次 都 去 这 
家 店 吃 ， 是 个 不 错 的 主意 。 





2. Session Replication 





如 果 我 们 继续 以 去 饭店 吃饭 类 比 ， 那 么 除了 前 面 的 方式 之 外 ， 如 果 
我 在 每 个 店 里 都 存放 一 套 自 己 的 餐具 ， 不 束 可 以 更 加 自由 地 选择 饭店 了 
吗 ? Session Replication 就 是 这 样 的 一 种 方式 ， 这 一 点 从 字面 上 也 很 容易 
看 出 来 。 


先 看 一 下 图 2-11， 如 下 。 
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图 2-11 ”Session Replication 方 式 


可 以 看 到 ， 在 Session Replication 方 式 中 ， 不 再 要 求 负载 均衡 器 来 保 
证 同一 个 会 话 的 多 次 请 求 必 须 到 同一 个 Web 服 务 器 上 了 。 而 我 们 的 Web 
服务 器 之 间 则 增加 了 会 话 数据 的 同步 。 通 过 同步 就 保证 了 不 同 Web 服 务 
器 之 间 的 Session 数 据 的 一 致 。 就 如 同 每 家 饭店 都 有 我 的 碗 筷 ， 我 就 能 随 
便 选 择 去 哪 家 吃饭 了 。 


一 般 的 应 用 容器 都 支持 (包括 了 商业 的 和 开源 的 ) Session 
Replication 方 式 ， 与 Session Sticky 方 案 相 比 ，Session Replication 方 式 对 
负载 均衡 右 没 有 那么 多 的 要 求 。 不 过 这 个 方案 本 身 也 有 问题 ， 而 且 在 一 
些 场景 下 ， 问 题 非常 严重 。 我 们 来 看 一 下 这 些 问题 。 














同步 Session 数 据 造成 了 网 络 带宽 的 开销 。 只 要 Session 数 据 有 变化 ， 
束 需 要 将 数据 同步 到 所 有 其 他 机 器 上 ， 机 器 数 越 多 ， 同 步 带 来 的 网 
络 市 宽 开 销 就 越 大 。 

每 台 Web 服 务 器 都 要 保存 所 有 的 Session 数 据 ， 如 果 整 个 集群 的 
Session 数 很 多 (很 多 人 在 同时 访问 网 站 〉 的 话 ， 每 台 机 堪 用 于 保存 
Session 数 据 的 内 容 占 用 会 很 严重 。 


这 就 是 Session Replication 方 案 。 这 个 方案 是 靠 应 用 容器 来 完成 
Session 的 复制 从 而 使 得 应 用 解决 Session 问 题 的 ， 应 用 本 身 并 不 用 关心 这 
个 事情 。 不 过 ， 这 个 方案 不 适合 集群 机 器 数 多 的 场景 。 如 果 只 有 几 台 机 
器 ， 用 这 个 方案 是 可 以 的 。 











3. Session 数 据 集 中 存储 


同样 是 希望 同一 个 会 话 的 请 求 可 以 发 到 不 同 的 Web 服 务 嚣 上， 刚才 
的 Session Replication 是 一 种 方案 ， 还 有 男 一 种 方案 就 是 把 Session 数 据 集 
中 存储 起 来 ， 然 后 不 同 Web 服 务 器 从 同样 的 地 方 来 获取 Session。 大 概 的 
结构 如 图 2-12 所 示 。 
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图 2-12 集中 存储 Session 方 式 





可 以 看 到 ， 与 Session Replication 方 案 一 样 的 部 分 是 ， 会 话 请 求 经 过 
负载 均衡 器 后 ， 不 会 被 固定 在 同样 的 Web 服 务 器 上 。 不 同 的 地 方 是 ， 
Web 服 务 器 之 间 没 有 了 Session 数 据 复制 ， 并 且 Session 数 据 也 不 是 保存 在 
本 机 了 ， 而 是 放 在 了 另 一 个 集中 存储 的 地 方 。 这 样 ， 不 论 是 哪 台 Web 服 
务 器 ， 也 不 论 修 改 的 是 哪个 Session 数 据 ， 最 终 的 修改 都 发 生 在 这 个 集中 
存储 的 地 方 ， 而 web 服务 器 使 用 Session 数 据 时 ， 也 是 从 这 个 集中 存储 
Session 数 据 的 地 方 来 读 取 。 这 样 的 方式 保证 了 不 同 Web 服 务 器 上 读 到 的 
Session 数 据 都 是 一 样 的 。 而 存储 Session 数 据 的 具体 方式 ， 可 以 使 用 数据 
库 ， 也 可 以 使 用 其 他 分 布 式 存储 系统 。 这 个 方案 解决 了 Session 








Replication 方 案 中 内 存 的 问题 ， 而 对 于 网 络 带宽 ， 这 个 方案 也 比 Session 
Replication 要 好 。 访 方案 存在 的 问题 是 什么 呢 ? 


。 读 写 Session 数 据 引 入 了 网 络 操作 ， 这 相对 于 本 机 的 数据 读 取 来 说 ， 
问题 就 在 于 存在 时 延 和 不 稳定 性 ， 不 过 我 们 的 通信 基本 都 是 发 生 在 
内 网 ， 问 题 不 大 。 

Bs 


相对 于 Session Replication， 当 Web 服 务 器 数量 比较 大 、S$ession 数 比 
较 多 的 时 候 ， 这 个 集中 存储 方案 的 优势 是 非常 明显 的 。 


4. Cookie Based 


Cookie Based 方 案 是 要 介绍 的 最 后 一 个 解决 Session 问 题 的 方案 。 这 
个 方案 对 于 同一 个 会 话 的 不 同 请 求 也 是 不 限制 具体 处 理 机 器 的 。 和 
Session Replication 以 及 Session 数 据 集中 管理 的 方案 不 同 ， 这 个 方案 是 通 
过 Cookie 来 传递 Session 数 据 的 。 还 是 先 看 看 下 面 的 图 2-13 吧 。 
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图 2-13 ”Cookie Based 的 方式 


从 图 2-13 可 以 看 到 ， 我 们 的 Session 数 据 放 在 Cookie 中 ， 然 后 在 Web 
服务 器 上 从 Cookie 中 生成 对 应 的 Session 数 据 。 这 就 好 比 我 每 次 都 把 自己 
的 碗 秘 带 在 喘 上 ， 这 样 我 去 哪 家 饭店 吃饭 就 可 以 随意 选择 了 。 相 对 于 前 
面 的 集中 存储 ， 这 个 方案 不 会 依赖 外 部 的 一 个 存储 系统 ， 也 融 不 存在 从 
外 部 系统 获取 、 写 入 Session 数 据 的 网 络 时 延 、 不 稳定 性 了 。 不 过 ， 这 个 
方案 依然 存在 不 足 : 


e。 Cookie 长 度 的 限制 。 我 们 知道 Cookie 是 有 长 度 限 制 的 ， 而 这 也 会 限 
制 Session 数 据 的 长 度 。 

。 安全 性 。Session 数 据 本 来 都 是 服务 端 数据 ， 而 这 个 方案 是 让 这 些 服 
务 端 数 据 到 了 外 部 网 络 及 客户 端 ， 因 此 存在 安全 性 上 的 问题 。 我 们 





可 以 对 写 入 Cookie 的 Session 数 据 做 加 密 ， 不 过 对 于 安全 来 说 ， 物 理 
上 不 能 接触 才 是 安全 的 。 

。 带宽 消耗 。 这 里 指 的 不 是 内 部 Web 服 务 器 之 间 的 带宽 消耗 ， 而 是 我 
们 数据 中 心 的 整体 外 部 带宽 的 消耗 。 

。 性 能 影响 。 每 次 HTTP 请 求 和 啊 应 都 带 有 Session 数 据 ， 对 Web 服 务 
器 来 说 ， 在 同样 的 处 理 情况 下 ， 啊 应 的 结果 输出 越 少 ， 支 持 的 并 发 
请 求 束 会 越 多 。 


2.2.4.3 “小结 


前 面 介 绍 了 Web 服 务 器 从 单机 到 多 机 情况 下 的 Session 问 题 的 解决 方 
案 。 这 4 个 方案 都 是 可 用 的 方案 ， 不 过 对 于 大 型 网 站 来 说 ，Session 
Sticky 和 Session 数 据 集中 存储 是 比较 好 的 方案 ， 而 这 两 个 方案 又 各 有 优 
劣 ， 需 要 在 具体 的 场景 中 做 出 选择 和 权衡 。 


不 管 采 用 上 述 何 种 方案 ， 我 们 都 可 以 在 一 定 程度 上 通过 增加 Web 服 
i 


2.2.5 ”数据 谈 压 力 变 大 ， 读 写 分 离 吧 


2.2.5.1 ”采用 数据 库 作 为 读 库 

















随 着 业务 的 发 展 ， 我 们 的 数据 量 和 访问 量 都 在 增长 。 对 于 大 型 网 站 
来 说 ， 有 不 少 业 务 是 读 多 写 少 的 ， 这 个 状况 也 会 直接 反应 到 数据 库 上 。 
那么 对 于 这 样 的 情况 ， 我 们 可 以 考虑 使 用 读 写 分 离 的 方式 。 


从 图 2-14 中 可 以 看 到 ， 我 们 在 前 面 的 结构 上 增加 了 一 个 读 库 ， 这 个 
库 不 承担 写 的 工作 ， 只 提供 读 服 务 。 


InJVM method 
invocation /| 


DB4Read 





图 2-14 ”加 入 读 库 后 的 架构 
这 个 结构 的 变化 会 市 来 两 个 问题 : 


。 数据 复制 问题 。 
。 应 用 对 于 数据 源 的 选择 问题 。 


我 们 希望 通过 读 库 来 分 担 主 库 上 读 的 压力 ， 那 么 首先 就 需要 解决 数 
据 怎么 复制 到 读 库 的 问题 。 数 据 库 系统 一 般 都 提供 了 数据 复制 的 功能 ， 
我 们 可 以 直接 使 用 数据 库 系 统 的 目 身 机 制 。 但 对 于 数据 复制 ， 我 们 还 需 
要 考虑 数据 复制 时 延 问 题 ， 以 及 复制 过 程 中 数据 的 源 和 目标 之 间 的 映射 
关系 及 过 滤 条 件 的 文 持 问题 。 数 据 复制 延迟 带 来 的 就 是 短期 的 数据 不 一 
致 。 例 如 我 们 修改 了 用 户 信息 ， 在 这 个 信息 还 没有 复制 到 读 库 时 《因为 
延迟 ) ， 我 们 从 读 库 上 读 出 来 的 信息 就 不 是 最 新 的 ， 如 果 把 这 个 信息 给 
进行 修改 的 人 看 ， 就 会 让 他 觉得 没有 修改 成 功 。 


不 同 的 数据 库 系统 有 不 同 的 支持 。 例 如 MySQL 文 持 Master〈 主 库 ) 














+Slave《〈 备 库 ) 的 结构 ， 提 供 了 数据 复制 的 机 制 。 在 MySQL 5.5 之 前 的 
版 本 文 持 的 都 是 异步 的 数据 复制 ， 会 有 延迟 ， 并 且 提 供 的 是 完全 镜像 方 
式 的 复制 ， 保 证 了 备 库 和 主 库 的 数据 一 致 性 〈 这 里 是 指 不 考虑 延迟 的 影 
啊 时 ) 。 而 在 MySQL 5.5 中 加 入 了 对 semi-sync 的 文 持 ， 从 数据 安全 性 上 
来 说 ， 它 比 异 步 复 制 要 好 ， 不 过 从 我 们 做 读 写 分 离 的 角度 来 看 ， 还 是 存 
在 着 复制 延迟 的 可 能 。 再 例如 Oracle， 之 前 接触 的 主要 是 Data ”Guard 方 
案 ， 这 个 方案 主要 用 于 容 灾 、 数 据 库 保护 以 及 故障 恢复 等 场景 ， 该 方案 
在 实施 中 又 分 为 物理 备 库 〈 物 理 StandBy) 和 逻辑 备 库 〈 逻 辑 

StandBy) 。 在 Oracle 10g 以 前 ， 物 理 备 库 是 不 可 读 的 ， 但 是 物理 备 库 保 
证 了 日 志 与 主 库 的 一 致 ， 是 很 强 的 数据 保证 的 做 法 ;而 逻辑 备 库 可 以 提 
供 读 服务 ， 不 过 在 有 大 量 更 新 操作 时 ， 它 会 有 非常 明显 的 延 运 。 


前 面 描述 了 这 么 多 ， 一 方面 是 为 了 让 大 家 简单 了 解数 据 库 系统 目 刁 
的 一 些 支 持 ， 男 一 方面 也 是 为 了 说 明 数 据 库 系统 层面 提供 的 对 数据 复制 
的 文 持 是 相对 有 限 的 。 后 面 在 分 布 式 数据 访问 层 的 章节 会 展开 介绍 这 部 
分 ， 并 详细 介绍 笔者 自己 的 一 些 经 历 。 


对 于 应 用 来 说 ， 增 加 一 个 读 库 对 结构 变化 有 一 个 影响 ， 即 我 们 的 应 
用 需要 根据 不 同情 况 来 选择 不 同 的 数据 库 源 。 写 操作 要 走 主 库 ， 事 务 中 
的 读 也 要 走 主 库 ， 而 我 们 也 要 考虑 到 备 库 数据 相对 于 主 库 数据 的 延迟 。 
就 是 说 即便 是 不 在 事务 中 的 读 ， 考 虑 到 备 库 的 数据 延迟 ， 不 同业 务 下 的 
选择 也 会 有 差异 。 


提 到 读 写 分 离 ， 我 们 更 多 地 是 想到 数据 库 层 面 。 事 实 上 ， 广 义 的 读 
写 分 离 可 以 扩展 到 更 多 的 场景 。 我 们 看 一 下 读 写 分 离 的 特点 。 简 单 来 说 
就 是 在 原 有 读 写 设施 的 基础 上 增加 了 读 “ 库 ?， 更 合适 的 说 法 应 该 是 增加 
了 读 “ 源 ”， 因 为 它 不 一 定 是 数据 库 ， 而 只 是 提供 读 服务 的 ， 分 担 原 来 的 
读 写 库 中 读 的 压力 。 因 为 我 们 增加 的 是 一 个 读 “ 源 ”， 所 以 需要 解决 问 这 
个 “ 源 ” 复 制 数据 的 问题 。 









































2.2.5.2 ”搜索 引擎 其 实 是 一 个 读 库 


把 搜索 引擎 列 在 这 里 可 能 出 乎 很 多 读者 的 意料 。 这 里 列 出 搜索 引擎 
0 
索 功 能 。 














以 我 们 所 举 的 交易 网 站 为 例 ， 商 品 存储 在 数据 库 中 ， 我 们 需要 实现 
证 用 户 碍 找 商 品 的 功能 ， 尤 其 是 根据 商品 的 标题 来 查找 的 功能 。 对 于 这 
样 的 情况 ， 可 能 有 读者 会 想到 数据 库 中 的 like 功 能 ， 这 确实 是 一 种 实现 
方式 ， 不 过 这 种 方式 的 代价 也 很 大 。 还 可 以 使 用 搜索 引擎 的 倒 排 表 方 
式 ， 它 能 够 大 大 提升 检索 速度 。 不 论 是 通过 数据 库 还 是 搜索 引擎 ， 根 据 
人 














搜索 引擎 要 工作 ， 衣 要 的 一 点 是 需要 根据 被 搜 索 的 数据 来 构建 索 
引 。 随 着 被 搜索 数据 的 变化 ， 索 引 也 要 进行 改变 。 这 里 所 说 的 索引 可 以 
理解 为 前 面 例子 中 读 库 的 数据 ， 只 不 过 索引 的 是 真实 的 数据 而 不 是 镜像 
关系 。 而 引入 了 搜索 引擎 之 后 ， 我 们 的 应 用 也 需要 知道 什么 数据 应 该 走 
搜索 ， 什 么 数据 应 该 走 数据 库 。 构 建 搜索 用 的 索引 的 过 程 束 是 一 个 数据 
复制 的 过 程 ， 只 不 过 不 是 简单 复制 对 应 的 数据 。 我 们 还 是 看 一 下 引入 搜 
索引 擎 之 后 的 结构 ， 如 图 2-15 所 示 。 











和 
EE 
图 2-15 引入 搜索 引擎 的 结构 


可 以 看 到 ， 搜 索 集 群 (Search _ Cluster) 的 使 用 方式 和 读 库 的 使 用 方 
式 是 一 样 的 。 只 是 构建 索引 的 过 程 基 本 都 是 需要 我 们 目 己 来 实现 的 。 可 
以 从 两 个 维度 对 于 搜索 系统 构建 案 引 的 方式 进行 划分 ， 一 种 是 按照 全 
量 / 增 量 划 分 ， 一 种 是 按照 实时 / 非 实 时 划分 。 全 量 方式 用 于 第 一 次 建立 
索引 〈 可 能 是 新 建 ， 也 可 能 是 重建 ) ， 而 增 量 方式 用 于 在 全 量 的 基础 上 
持续 更 新 索引 。 当 然 ， 增 量 构建 索引 的 挑战 非常 大 ， 一 般 会 加 入 每 日 的 
























全 量 作为 补充 。 实 时 / 非 实时 的 划分 方式 则 体现 在 索引 更 新 的 时 间 上 
了 。 我 们 当然 更 倾向 于 实时 的 方式 ， 之 所 以 有 非 实 时 方式 ， 主 要 是 考虑 
到 对 数据 源头 的 保护 。 


总 体 来 说 ， 搜 索引 擎 的 技术 解决 了 站 内 搜索 时 某 些 场景 下 读 的 问 
题 ， 提 供 了 更 好 的 碍 询 效 率 。 并 且 我 们 看 到 的 站 内 搜索 的 结构 和 使 用 读 
库 是 非常 类 似 的 ， 我 们 可 以 把 搜索 引擎 当成 一 个 读 库 。 




















2.2.5.3 ”加 速 数据 读 取 的 利器 一 一 绥 存 


缓存 ， 也 就 是 我 们 常 说 的 Cache， 来 源 于 1967 年 的 一 篇 电子 工程 期 
刊 论文 。 缓 存 的 概念 在 早期 主要 用 于 计算 机 硬件 中 ， 例 如 CPU 的 高 速 组 
存 、 和 硬盘 中 的 缓存 等 。 


我 们 在 这 里 不 讨论 这 些 硬 件 ， 而 要 讨论 在 大 型 网 站 里 面 起 到 缓存 作 
用 的 一 些 系 统 ， 而 且 我 们 不 是 要 介绍 具体 的 系统 ， 而 是 介绍 缓存 的 一 些 
用 法 ， 并 看 看 缓存 系统 是 否 可 以 看 做 一 个 读 库 。 





1. 数据 缓存 


在 大 型 网 站 中 ， 有 许多 地 方 都 会 用 到 缓存 机 制 。 首 先 我 们 看 一 下 网 
站 内 部 的 数据 缓存 。 大 型 系统 中 的 数据 缓存 主要 用 于 分 担 数据 库 的 读 的 
压力 ， 从 目的 上 看 ， 关 似 于 我 们 前 面 提 到 的 分 库 和 搜索 引擎 。 


如 图 2-16 所 示 ， 可 以 看 到 绥 存 系统 和 搜索 引擎 、 读 库 的 定位 是 很 类 
似 的 ， 组 存 系统 一 般 是 用 来 保存 和 查询 键 值 (Key-Value) 对 的 。 同 样 
的 ， 业 务 系统 需要 了 人 解 什么 数据 会 在 缓存 中 。 绥 存 中 数据 的 填充 方式 会 
有 不 同 ， 一 般 我 们 在 缓存 中 放 的 是 “ 热 ” 数 据 而 不 是 全 部 数据 ， 那 么 填充 
方式 就 是 通过 应 用 完成 的 ， 即 应 用 访问 缓存 ， 如 果 数 据 不 存在 ， 则 从 数 
据 库 读 出 数据 后 放 入 绥 存 。 随 着 时 间 的 推移 ， 当 缓存 容量 不 够 需要 清除 
数据 时 ， 最 近 不 被 访问 的 数据 束 补 清除 了 。 这 种 使 用 方式 与 前 面 分 库 的 
数据 复制 以 及 搜索 引擎 的 构建 索引 的 方式 是 不 同 的 。 不 过 还 有 一 种 做 法 
与 前 面 两 种 方式 是 类 似 的 ， 那 就 是 在 数据 库 的 数据 发 生变 化 后 ， 主 动 把 
数据 放 入 缓存 系统 中 。 这 样 的 好 处 《相对 于 前 面 使 用 缓存 的 方式 ) 是 ， 




















在 数据 变化 时 能 够 及 时 更 新 缓存 中 数据 ， 不 会 造成 读 取 失效 。 这 种 方式 
一 般 会 用 于 全 数据 缓存 的 情况 。 使 用 这 种 方式 有 一 个 要 求 ， 即 根据 数据 
库 记 录 的 变化 去 更 新 绥 存 的 代码 要 能 够 理解 业务 逻辑 。 





图 2-16 ”加 入 缓存 后 的 结构 


2. 页 面 缓存 


除了 数据 缓存 外 ， 我 们 还 有 页 面 缓 存 。 数 据 缓存 可 以 加 速 应 用 在 啊 
应 请 求 时 的 数据 读 取 速 度 ， 但 是 最 终 应 用 返回 给 用 户 的 主要 还 是 页 面 ， 
有 些 动态 产生 的 页 面 或 页 面 的 一 部 分 特别 热 ， 我 们 就 可 以 对 这 些 内 容 进 
行 缓存 。ESI 就 是 针对 这 种 情况 的 一 个 规范 。 从 具体 的 实现 上 来 次 ， 可 
以 采用 ESI 或 者 类 似 的 思路 来 做 ， 也 可 以 把 页 面 缓存 与 页 面 泻 染 放 在 一 
起 处 理 ， 下 面 举 个 具体 的 例子 来 说 明 一 下 这 两 种 做 法 的 差别 。 


我 们 的 系统 使 用 Java 技 术 构 建 Web 服 务 ， 而 在 web 服务 前 端 有 
Apache/Nginx 服 务 器 。 


图 2-17 表 示 对 于 ESI 的 处 理 是 在 Apache 中 进行 。Web 服 务 器 产生 的 
请 求 响应 结果 返回 给 Apache，Apache 中 的 模块 会 对 响应 结果 做 处 理 ， 找 
到 ESI 标 签 ， 然 后 去 缓存 中 获取 这 些 ESI 标 签 对 应 的 内 容 ， 如 果 这 些 内 容 





不 存在 〈 可 能 没有 生成 或 者 已 经 过 期 ) ， 那 么 Apache 中 的 模板 会 通过 
Web 服 务 器 去 泻 染 这 些 内 容 ， 并 且 把 结果 放 入 绥 存 中 ， 用 内 容 蔡 换 掉 
ESI 标 签 ， 返 回 给 客户 的 浏览 器 。 这 种 方式 的 职责 分 工 比 较 清楚 。 不 过 
Apache 的 ESI 模 块 总 是 要 对 啊 应 结果 做 分 析 ， 然 后 进行 ESI 相 关 的 操作 。 
人 
了 的 选择 。 








图 2-17 Apache 中 的 ESI 模 块 





图 2-18 就 是 改进 后 的 样子 。Apache 中 不 再 有 ESI 相 关 的 功能 了 ， 而 
古 在 Web 服 务 器 中 完成 泻 染 及 缓存 相关 的 操作 。 这 样 的 做 法 更 高 效 ， 它 
把 泻 染 与 缓存 的 工作 结合 在 了 一 起 ， 而 且 这 种 做 法 只 是 看 起 来 没有 前 一 
种 方式 分 工 清晰 而 已 。 








图 2-18 JBoss 中 的 ESI 功 能 


对 于 使 用 缓存 来 加 速 数据 读 取 的 情况 ， 一 个 很 关键 的 指标 是 缓存 命 








中 率 ， 因 为 如 果 缓 存 命中 率 比 较 低 的 话 ， 就 意味 者 还 有 不 少 的 读 请 求 要 
回 到 数据 库 中 。 此 外 ， 数 据 的 分 布 与 更 新 集 略 也 需要 结合 具体 的 场景 3 
考虑 。 从 分 布 上 来 说 ， 我 们 主要 考虑 的 问题 是 需要 有 机 制 去 避免 局 部 的 
热点 ， 并 且 绥 存 服务 器 扩容 或 者 缩 容 要 尽量 平滑 《一致 性 Hash 会 是 不 错 
的 选择 ) 。 而 在 缓存 的 数据 的 更 新 上 ， 会 有 定时 失效 、 数 据 变更 时 失效 
和 数据 变更 时 更 新 的 不 同 选择 。 


2.2.6 ”弥补 关系 型 数据 库 的 不 足 ， 引 
入 分 布 式 仓储 系统 


在 之 前 的 介绍 中 用 于 数据 存储 的 主要 是 数据 库 ， 但 是 在 有 些 场景 
下 ， 数 据 库 并 不 是 很 合适 。 我 们 平时 使 用 的 多 为 单机 数据 库 ， 并 且 提 供 
了 强 的 单机 事务 的 文 持 。 除 了 数据 库 之 外 ， 还 有 其 他 用 于 存储 的 系统 ， 
也 就 是 我 们 常 说 的 分 布 式 存储 系统 。 分 布 式 存储 系统 在 大 型 网 站 中 有 非 








常 广泛 的 使 用 。 


常见 的 分 布 式 存储 系统 有 分 布 式 文件 系统 、 分 布 式 Key-Value 系 统 
和 分 布 式 数 据 库 。 文 件 系 统 是 大 家 所 熟知 的 ， 分 布 式 文件 系统 束 是 在 分 
布 式 环境 中 由 多 个 市 点 组 成 的 功能 与 单机 文件 系统 一 样 的 文件 系统 ， 它 
古 弱 格式 的 ， 内 容 的 格式 需要 使 用 者 自己 来 组 织 ; 而 分 布 式 Key-Value 
系统 相对 分 布 式 文件 系统 会 更 加 格式 化 一 些 ， 分 布 式 数据 库 则 是 最 格式 
化 的 方式 了 。 具 体 到 分 布 式 存储 的 实现 ， 我 们 将 在 后 续 的 革 节 探讨 。 


分 布 式 存储 系统 目 身 起 到 了 存储 的 作用 ， 也 束 是 提供 数据 的 读 写 文 
持 。 相 对 于 读 写 分 离 中 的 读 “ 源 ”， 分 布 式 存储 系统 更 多 的 是 直接 代 奉 了 
主 库 。 是 否 引 入 分 布 式 系统 则 需要 根据 具体 场景 来 选择 。 分 布 式 存储 系 
统 通 过 集群 提供 了 一 个 高 容量 、 高 并 发 访问 、 数 据 元 余 容 灾 的 文 持 。 有 具 
体 到 前 文 提 到 的 三 个 常见 类 ， 则 是 通过 分 布 式 文件 系统 来 解决 小 文件 和 
大 文件 的 存储 问题 ， 通 过 分 布 式 Key-Value 系 统 提供 高 性 能 的 半 结 构 化 
的 支持 ， 通 过 分 布 式 数 据 库 提供 一 个 支持 大 数据 、 高 并 发 的 数据 库 系 
统 。 分 布 式 存储 系统 可 以 帮助 我 们 较 好 地 解决 大 型 网 站 中 的 大 数据 量 和 
es 
19 的 样子 。 
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图 2-19 引入 分 布 式 存储 系统 的 结构 


2.2.7 读 写 分 离 后 ， 数 据 库 叉 遇 到 瓶 
颈 





通过 读 写 分 离 以 及 在 茶 些 场景 用 分 布 式 存储 系统 蔡 换 关系 型 数据 库 
的 方式 ， 能 够 降低 主 库 的 压力 ， 解 诀 数 据 存 储 方 面 的 问题 。 不 过 随 看 业 
务 的 发 展 ， 我 们 的 主 库 也 会 遇 到 瓶 贷 。 我 们 的 网 站 演进 到 现在 ， 交 易 、 
商品 、 用 户 的 数据 还 都 在 一 个 数据 库 中 。 尺 管 采取 了 增加 缓存 、 读 写 分 
离 的 方式 ， 这 个 数据 库 的 压力 还 是 在 继续 增加 ， 因 此 我 们 需要 去 解决 这 
个 问题 ， 我 们 有 数据 垂直 拆 分 和 水 平 拆 分 两 种 选择 。 





2.2.7.1 专 库 专用 ， 数 据 垂直 拆 分 


牌 直 拆 分 的 意思 是 把 数据 库 中 不 同 的 业务 数据 拆 分 到 不 同 的 数据 库 
0 0 
人 钞 。 
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图 2-20 ”数据 库 垂 直 拆 分 后 的 结构 


这 样 的 变化 给 我 们 带 来 的 影响 是 什么 呢 ? 应 用 需要 配置 多 个 数据 
源 ， 这 如 增加 了 所 需 的 配置 ， 不 过 带 来 的 是 每 个 数据 库 连 接 池 的 隔离 。 
不 同业 务 的 数据 从 原来 的 一 个 数据 库 中 拆 分 到 了 多 个 数据 库 中 ， 那 么 就 
需要 考虑 如 何 处 理 原 来 单机 中 跨 业 务 的 事务 。 一 种 办 法 是 使 用 分 布 式 事 
务 ， 其 性 能 要 明显 低 于 之 前 的 单机 事务 ， 而 妨 一 种 办 法 就 是 去 挥 事务 或 
者 不 去 奶 求 强 事务 文 持 ， 则 原来 在 单 库 中 可 以 使 用 的 表 关 联 的 查询 也 区 
需要 改变 实现 了 。 


对 数据 进行 垂直 拆 分 之 后 ， 解 决 了 把 所 有 业务 数据 放 在 一 个 数据 库 
中 的 压力 问题 。 并 且 也 可 以 根据 不 同业 务 的 特点 进行 更 多 优化 。 

















2.2.7.2 ”垂直 拆 分 后 的 单机 过 到 瓶颈 ， 数 据 水 平 拆 


分 


与 数据 垂直 拆 分 对 应 的 还 有 数据 水 平 拆 分 。 数 据 水 平 拆 分 就 是 把 同 
一 个 表 的 数据 拆 到 两 个 数据 库 中 。 产 生 数 据 水 平 拆 分 的 原因 是 东 个 业务 
的 数据 表 的 数据 量 或 者 更 新 量 达 到 了 单个 数据 库 的 瓶颈 ， 这 时 束 可 以 把 
这 个 表 拆 到 两 个 或 者 多 个 数据 库 中 。 数 据 水 平 拆 分 与 读 写 分 离 的 区 别 
征 ， 读 写 分 离 解决 的 是 读 压力 大 的 问题 ， 对 于 数据 量 大 或 者 更 新 量 的 情 
况 并 不 起 作用 。 数 据 水 平 拆 分 与 数据 垂直 拆 分 的 区 别 是 ， 垂 直 拆 分 是 把 
不 同 的 表 拆 到 不 同 的 数据 库 中 ， 而 水 平 拆 分 是 把 同一 个 表 拆 到 不 同 的 数 
据 库 中 。 例 如 ， 经 过 垂直 拆 分 后 ， 用 户 表 与 交易 表 、 商 品 表 不 在 一 个 数 
据 库 中 了 ， 如 果 数 据 量 或 者 更 新 量 太 大 ， 我 们 可 以 进一步 把 用 户 表 拆 分 
到 两 个 数据 库 中 ， 它 们 拥有 结构 一 模 一 样 的 用 户 表 ， 而 且 每 个 库 中 的 用 
己 表 都 只 涵盖 了 一 部 分 的 用 户 ， 两 个 数据 库 的 用 户 合 在 一 起 束 相 当 于 没 
有 拆 分 之 前 的 用 户 表 。 我 们 先 来 简单 看 一 下 引入 数据 水 平 拆 分 后 的 结 
构 ， 如 图 2-21 所 示 。 
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图 2-21 数据 水 平 拆 分 后 的 结构 
我 们 来 分 析 一 下 水 平 拆 分 后 给 业务 应 用 带 来 的 影响 。 





首先 ， 访 问 用 户 信息 的 应 用 系统 需要 解决 SQL 路 由 的 问题 ， 因 为 现 
在 用 户 信息 分 在 了 两 个 数据 库 中 ， 需 要 在 进行 数据 库 操 作 时 了 解 需要 操 
作 的 数据 在 哪里 。 


此 外 ， 主 键 的 处 理 也 会 变 得 不 同 。 原 来 依赖 单个 数据 库 的 一 些 机 制 
需要 变化 ， 例 如 原来 使 用 Oracle 的 Sequence 或 者 MySQL 表 上 的 自 增 字 段 
的 ， 现 在 不 能 简单 地 继续 使 用 了 。 并 且 在 不 同 的 数据 库 中 也 不 能 直接 使 
用 一 些 数据 库 的 限制 来 保证 主键 不 重复 了 。 


最 后 ， 由 于 同一 个 业务 的 数据 被 拆 分 到 了 不 同 的 数据 库 中 ， 因 此 一 
些 香 询 需 要 从 两 个 数据 库 中 取 数 据 ， 如 果 数 据 量 太 大 而 需要 分 页 ， 就 会 
比较 难处 理 了 。 

不 过 ， 一旦 我 们 能 够 完成 数据 的 水 平 拆 分 ， 我 们 将 能 够 很 好 地 应 对 
数据 量 及 写 入 量 增长 的 情况 。 具 体 如 何 完成 数据 水 平 拆 分 ， 在 后 面 分 布 
式 数 据 访 问 层 的 章节 中 我 们 将 进行 更 加 详细 的 介绍 。 


2.2.8 ”数据 库 问 题解 决 后 ， 应 用 和 面 对 
的 新 挑 成 


2.2.8.1 ” 拆 分 应 用 

















前 面 押 讲 的 读 写 分 离 、 分 布 式 存储 、 数 据 垂直 拆 分 和 数据 水 平 拆 分 
都 是 在 解决 数据 方面 的 问题 。 下 面 我 们 来 看 看 应 用 方面 的 变化 。 


之 前 解决 了 应 用 服务 器 从 单机 到 多 机 的 扩展 ， 应 用 就 可 以 在 一 定 范 
围 内 水 平 扩 展 了 。 随 痢 业 务 的 有 发展， 应 用 的 功能 会 越 来 越 多 ， 应 用 也 会 
越 来 越 大 。 我 们 需要 考虑 如 何不 让 应 用 持续 变 大 ， 这 就 需要 把 应 用 拆 
开 ， 从 一 个 应 用 变 为 两 个 甚至 多 个 应 用 。 我 们 来 看 两 种 方式 。 


第 一 种 方式 ， 根 据 业 务 的 特性 把 应 用 拆 开 。 在 我 们 的 例子 中 ， 主 要 
的 业务 功能 分 为 三 大 部 分 : 交易 、 丙 品 和 有 用户。 我 们 可 以 把 原来 的 一 个 
应 用 拆 成 分 别 以 交易 和 商品 为 主 的 两 个 应 用 ， 对 于 交易 和 商品 都 会 有 涉 

















及 用 户 的 地 方 ， 我 们 让 这 两 个 系统 目 己 完成 涉及 用 户 的 工作 ， 而 类 似 用 
户 注册 、 登 录 等 基础 的 用 户 工作 ， 可 以 暂时 交 给 两 系统 之 一 来 完成 〈 注 
意 ， 我 们 在 这 里 主要 是 通过 例子 说 明 拆 分 的 做 法 ) ， 如 图 2-22 所 示 ， 这 
样 的 拆 分 可 以 使 大 的 应 用 变 小 。 
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图 2-22 ”根据 功能 拆 分 应 用 


我 们 还 可 以 按照 用 户 注册 、 用 户 登 录 、 用 户 信息 维护 等 再 拆 分 ， 使 
之 变 成 三 个 系统 。 不 过 ， 这 样 拆 分 后 在 不 同系 统 中 会 有 一 些 相 似 的 代 
码 ， 例 如 用 户 相 关 的 代码 。 如 何 能 够 保证 这 部 分 代码 的 一 致 以 及 如 何 对 
其 复 用 是 需要 解决 的 问题 。 此 外 ， 按 这 样 的 方式 拆 分 出 来 的 新 系统 之 间 
人 


来 看 一 个 具体 的 例子 ， 如 图 2-23 所 示 。 








图 2-23 ” 按 功 能 拆 分 后 的 结构 





我 们 根据 业务 的 不 同 功 能 拆 分 了 几 个 业务 应 用 ， 而 且 这 些 业 务 应 用 
之 间 不 存在 朋 接 的 调用 ， 它 们 都 依赖 后 层 的 数据 库 、 绥 存 、 文 件 系 统 、 
0 








2.2.8.2” 走 服务 化 的 路 


我 们 再 来 看 一 下 服务 化 的 做 法 。 图 2-24 是 一 个 示意 图 。 从 中 可 以 看 
到 我 们 把 应 用 分 为 了 三 层 ， 处 于 最 上 端的 是 Web 系 统 ， 用 于 完成 不 同 的 
业务 功能 ， 处 于 中 间 的 是 一 些 服 务 中 心 ， 不 同 的 服务 中 心 提供 不 同 的 业 
务 服务 ， 处 于 下 层 的 则 是 业务 的 数据 库 。 当 然 ， 我 们 在 这 个 图 中 省 去 了 
缓存 等 基础 的 系统 ， 因 此 可 以 说 是 服务 化 系统 结构 的 一 个 简 图 。 











图 2-24 ”服务 化 结构 
图 2-24 与 之 前 的 图 相 比 有 几 个 很 重要 的 变化 。 首 先 ， 业 务 功 能 之 间 





的 访问 不 仅 是 单机 内 部 的 方法 调用 了 ， 还 引入 了 远程 的 服务 调用 。 其 

次 ， 共 至 的 代码 不 再 是 散落 在 不 同 的 应 用 中 了 ， 这 些 实现 被 放 在 了 各 个 
服务 中 心 。 第 三 ， 数 据 库 的 连接 也 发 生 了 一 些 变 化 ， 我 们 把 与 数据 库 的 
交互 工作 放 到 了 服务 中 心 ， 让 前 端的 Web 应 用 更 加 注重 与 浏览 占 交 互 的 
工作 ， 而 不 必 过 多 关注 业务 逻辑 的 事情 。 连 接 数 据 库 的 任务 交 给 相应 的 
业务 服务 中 心 了 ， 这 样 可 以 降低 数据 库 的 连接 数 。 而 服务 中 心 不 仅 把 一 
些 可 以 共用 的 之 前 散落 在 各 个 业务 的 代码 集中 了 起 来 ， 并 且 能 够 使 这 些 
代码 得 到 更 好 的 维护 。 第 四 ， 通 过 服务 化 ， 无 论 是 前 器 Web 应 用 还 是 服 
务 中 心 ， 都 可 以 是 由 固定 小 团队 来 维护 的 系统 ， 这 样 能 够 更 好 地 保持 稳 
定性 ， 并 能 更 好 地 控制 系统 本 身 的 有 发展， 况且 稳定 的 服务 中 心 日 癌 发 布 
的 次 数 也 远 小 于 前 端 Web 应 用 ， 因 此 这 个 方式 也 减 小 了 不 稳定 的 风险 。 





要 做 到 服务 化 还 需要 一 些 基 础 组 件 的 支撑 ， 在 后 面 服务 框架 的 革 市 
我 们 会 具体 介绍 。 


2.2.9 初 识 消息 中 间 件 


最 后 我 们 来 看 一 下 消息 中 间 件 。 维 基 百 科 上 对 消息 中 间 件 的 定义 
为 “Message-oriented middleware (MOM) is software infrastructure 
focused on sending and receiving messages between distributed systems.” 意 
思 就 是 面 癌 消息 的 系统 〈 消 筷 中 间 件 ) 是 在 分 布 式 系 统 中 完成 消息 的 发 
送 和 接收 的 基础 软件 。 图 2-25 更 直观 地 表示 了 消息 中 间 件 。 






























| ape | 
EE 


消息 中 间 性 


图 2-25 ”消息 中 间 件 


消息 中 间 件 有 两 个 常 被 提 及 的 好 处 ， 即 异步 和 解 耦 。 从 图 2-25 中 可 
以 看 到 ， 应 用 A 和 应 用 B 都 和 消息 中 间 件 打交道 ， 而 这 两 个 应 用 之 间 并 
不 直接 联系 。 这 样 就 完成 了 解 耦 ， 目 的 是 希望 收发 消息 的 双方 彼此 不 知 
道 对 方 的 存在 ， 也 不 受 对 方 影响 ， 所 以 将 消息 投递 给 接收 者 实际 上 都 采 
用 了 时 步 的 方式 。 在 后 而 消息 中 间 件 的 章节 (第 6 章 》 中 会 展开 来 让 

容 。 




















2.2.10 总结 


至 此 ， 我 们 通过 一 个 例子 来 讲解 了 交易 网 站 的 架构 演进 。 这 里 我 必 
须要 再 强调 一 下 ， 这 只 是 一 个 例子 ， 不 是 某 个 网 站 真实 的 演进 过 程 ， 实 
际 的 网 站 演进 过 程 与 自身 的 业务 和 不 同时 间 直 到 的 问题 有 密切 关系 ， 没 


有 国定 的 模式 。 我 们 是 希望 通过 这 个 例子 向 大 家 讲述 可 能 遇 到 的 问题 类 
型 和 基本 的 解决 思路 。 这 些 思路 在 具体 的 实现 过 程 中 都 有 更 多 的 工作 和 
选择 要 做 。 后 面 关 于 Java 中 间 件 的 实践 部 分 〈 第 3 章 ) 会 继续 讲解 一 些 
更 细节 的 内 容 。 


最 后 ， 我 们 通过 一 张 图 来 看 看 经 过 演进 之 后 ， 我 们 的 网 站 变 成 什么 
样子 了 ， 如 图 2-26 所 示 。 





图 2-26 ”整体 结构 图 





这 比 起 最 初 的 图 2-4 已 经 丰满 了 很 多 。 在 后 面 介绍 Java 中 间 件 实践 
时 ， 我 们 可 以 看 到 Java 中 间 件 在 这 个 图 上 的 位 置 。 而 在 介绍 完 Java 中 间 
件 实践 以 及 构建 大 型 网 站 的 其 他 要 素 后 ， 将 会 给 出 一 张 更 完整 的 图 。 





第 3 章 ”构建 Java 中 间 件 
3.1 _ Java 中 间 件 的 定义 


上 一 章 我 们 看 到 了 一 个 用 Java 技 术 构 建 的 网 站 从 小 到 大 的 演进 过 
程 ， 在 这 个 过 程 中 ， 无 论 服务 化 、 对 数据 库 的 读 写 分 离 和 拆 分 处 理 还 是 
消 轧 系统 ， 都 会 用 到 相关 的 中 间 件 。 这 一 章 我 们 会 了 解构 建 Java 中 间 件 
的 一 些 基 础 知识 ， 以 及 我 们 到 底 需 要 在 大 型 网 站 中 构建 什么 中 间 件 产 


器 
口 口 








从 字面 上 看 Java 中 间 件 的 定义 很 简单 ， 那 惑 是 基于 Java 技 术 构 建 的 

中 间 件 。 我 们 先 抛 开 Java， 看 一 下 什么 是 中 间 件 。 中 间 件 的 定义 说 简单 
很 简单 ， 说 复杂 也 很 复杂 。 在 维基 百科 上 是 这 样 定义 中 间 件 的 : In its 
most general sense, middleware is computer software that provides services 
to software applications beyond those available from the operating system. 
Middleware can be described as“software glue”. Thus middleware is not 
obviously part of an operating system, nota database management system, 

and neither is it part of one software application. Middleware makes it easier 
for software developers to perform communication and input/output, so they 
can focus on thespecific purpose of their application. 这 上 段 文 字 有 些 长 ， 大 
意 是 中 间 件 为 软件 应 用 提供 了 操作 系统 所 提供 的 服务 之 外 的 服务 ， 可 以 
把 中 间 件 描述 为 “软件 胶水 ”。 中 间 件 不 是 操作 系统 的 一 部 分 ， 不 是 数据 
库 管 理 系统 ， 也 不 是 软件 应 用 的 一 部 分 ， 而 是 能 够 让 软件 开发 者 方便 地 
处 理 通信 、 输 入 和 和 输出， 能 够 专注 在 他 们 自己 应 用 的 部 分 。 


这 样 描述 有 些 元 长 ， 我 理解 的 中 间 件 有 上 坚 “ 不 上 不 下 ”， 中 间 件 不 是 
最 上 层 的 应 用 ， 也 不 是 最 撒 层 的 文 撑 系统 ， 是 处 村“ 中间? 位 置 的 组 件 。 
中 间 件 起 到 的 是 桥 染 作用， 是 应 用 与 应 用 之 间 的 桥梁 ， 也 是 应 用 与 服务 
之 间 的 桥 染 。 特 定 中 间 件 是 解决 特定 场景 问题 的 组 件 ， 它 能 够 让 软件 开 
发 人 员 专 注 于 上 自己 应 用 的 开发。 


根据 这 样 的 定义 去 确定 中 间 件 的 范围 和 种 类 还 是 比较 困难 的 。 在 业 
界 也 没有 达成 共识 的 权威 分 类 。 本 书 在 接 下 来 的 章节 主要 介绍 的 是 下 面 























三 个 领域 的 中 间 件 。 





。 远程 过 程 调用 和 对 象 访 问 中 间 件 : 主要 解决 分 布 式 环境 下 应 用 的 互 
相 访问 问题 。 这 也 是 文 撑 我 们 介绍 应 用 服务 化 的 基础 。 

。 消 奶 中 间 件 : 解决 应 用 之 间 的 消 轧 传递 、 解 秋 、 有 异步 的 问题 。 

。 数据 访问 中 间 件 : 主要 解决 应 用 访问 数据 库 的 共性 问题 的 组 件 。 


这 三 个 部 分 没有 涵盖 所 有 的 中 间 件 ， 不 过 我 们 也 不 准备 把 每 个 部 分 
所 有 相关 的 内 容 都 介绍 清楚 ， 而 更 多 的 是 把 与 大 型 网 站 的 具体 问题 相关 
的 部 分 介绍 清楚 。 之 所 以 要 介绍 这 三 个 部 分 的 内 容 ， 就 是 因为 它们 与 大 
型 网 站 的 发 展演 进 有 非常 密切 的 关系 。 














3.2 ”构建 Java 中 间 件 的 基础 知识 


Java 中 间 件 是 解决 特定 问题 域 的 一 系列 组 件 。 我 们 接 下 来 看 一 下 和 
Java 中 间 件 关系 比较 密切 的 一 些 基础 知识 ， 这 会 帮助 我 们 更 好 地 理解 
Java 中 间 件 的 构建 。 


3.2.1 ”路 平台 的 Java 运 行 环境 一 
JVM 


首先 要 谈 到 的 是 JVM， 这 是 Java 中 间 件 运行 的 基础 平台 。 这 里 的 
JVM 是 指 具 体 要 使 用 的 Java 虚 拟 机 ， 而 不 是 具体 的 规范 或 者 某 个 运行 的 
虚拟 机 实例 。 


要 完成 中 间 件 功能 可 能 不 需要 过 多 地 去 了 解 JVM。 我 们 了 解 JVM 的 
主要 目的 是 为 了 让 我 们 的 应 用 更 加 高 效 地 工作 ， 另 外 也 是 为 了 在 遇 到 问 
题 的 时 候 能 更 加 快速 地 定位 和 解决 问题 。 


具体 的 Java 虚 拟 机 产品 有 多 种 ， 但 都 遵循 同样 的 规范 ， 具 体 规范 请 
参考 网 址 -http://docs.oracle.com/javase/specs/jvms/se7/html/index.html。 大 
家 比较 熟知 的 Java 虚 拟 机 产品 应 该 是 Oracle Hotspot、IBM J9、Oracle 
JRockit 和 Microsoft JVM， 其 中 Hotspot 是 Sun 的 产品 ，JRockit 是 BEA 的 产 
品 ， 由 于 这 两 家 公司 都 被 Oracle 收 购 了 ， 上 所 以 现在 它们 成 为 了 Oracle 的 
产品 。 此 外 ， 还 有 两 个 针对 特定 人 硬件 平台 的 虚拟 机 一 一 Azul VM 和 BEA 
Liquid VM。Azul Systems (Azul VM 所 属 的 公司 ) 还 推出 了 Zing VM， 
它 是 针对 x86 平 台 的 ， 提 供 的 性 能 接近 Azul VM 在 专 有 的 硬件 Vega 系 统 
上 的 表现 。 在 平时 的 应 用 中 ，Hotspot 应 该 是 使 用 最 广泛 的 一 个 虚拟 机 产 
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口 口 

















Java 诞 生 时 的 口号 就 是 “write once，run anywhere”， 而 达到 这 个 目 
标的 关键 点 就 是 Java 虚 拟 机 。 不 同 平台 有 不 同 的 Java 虚 拟 机 ， 但 是 不 同 
Java 虚 拟 机 所 识别 的 是 统一 格式 的 中 间 人 代码， 也 就 是 我 们 第 说 的 Java 


Byte Code (Java 字 节 人 码 ) ， 如 图 3-1 所 示 。 





Source 
Code 


图 3-1 Java 从 源码 到 运行 的 过 程 


0 0 0 
过 程 。 





JVM 是 Java Byte Code 的 一 个 运行 环境 ，JVM 的 调 优 及 运行 时 问题 
的 定位 处 理 也 是 非常 重要 的 内 容 。 本 书 不 对 这 两 部 分 展开 介绍 ， 建 议 读 
者 参考 相关 的 书籍 或 者 资料 进行 了 解 。 这 里 只 提醒 一 句 ， 没 有 一 个 万 能 
的 调 优 和 问题 定位 处 理 方式 ， 我 们 只 能 了 解 一 些 基 本 的 原理 和 方式 ， 然 
后 根据 每 个 系统 的 不 同 特点 来 进行 不 同 的 处 理 。 


3.2.2 ”垃圾 回收 与 内 存 堆 布局 


使 用 Java 虚 拟 机 不 得 不 说 的 就 是 垃圾 回收 。Java 虚 拟 机 是 通过 垃圾 
回收 的 方式 来 进行 内 存 回收 的 ， 而 不 是 类 似 C/C++ 等 语言 那样 通过 代码 
显 式 地 释放 。 在 C/C++ 中 ， 在 使 用 指针 时 需要 非常 关注 内 存 相关 的 问 
题 ， 一 方面 防止 内 存 泄 露 ， 另 外 一 方面 防止 使 用 已 经 释放 的 内 存 。 而 在 
Java 虚 拟 机 中 ， 采 用 二 圾 回收 的 方式 使 得 我 们 可 以 主动 释放 内 存 ， 但 古 
需要 我 们 特别 关注 和 和 了解 垃圾 回收 。 设 置 不 同 的 垃圾 回收 方式 及 参数 都 
会 影响 垃圾 回收 的 效果 ， 而 这 对 网 站 产生 的 影响 就 在 于 系统 的 稳定 性 及 
单机 的 文 撑 能 力 方 面 ， 这 也 是 我 们 需要 特别 关注 的 部 分 。 


在 Java 虚 拟 机 规范 和 Java 语 言 规范 中 ， 并 没有 显 式 地 提 及 垃圾 回收 
的 内 容 。 不 过 ， 在 JVM 的 指令 集中 ， 并 没有 提供 类 似 free/delete 这 样 的 
释放 操作 ， 所 以 我 们 不 能 显 式 地 直接 释放 内 存 ， 而 需要 专门 的 垃圾 收集 
器 来 完成 垃圾 回收 的 工作 。 

















在 不 同 的 Java 虚 拟 机 产品 中 ， 内 存 中 扒 的 布局 是 不 完全 一 样 的 ， 采 
用 的 垃圾 回收 策略 也 不 同 。 下 面 我 们 简单 看 一 下 三 个 常见 的 Java 虚 拟 机 
首先 来 看 Oracle Hotspot JVM 中 内 存 的 堆 布 局 ， 
0 图 3-2 所 示 。 





Young a Tenured 























图 3-2 ”Oracle Hotspot JYVM 内 存 堆 布局 


Oracle Hotspot JVM 中 内 存 的 堆 布 局 是 大 家 平时 接触 比较 多 的 。 从 
图 3-2 可 以 看 到 ， 有 Young/Tenured/Perm 三 块 区 域 ， 也 就 是 我 们 常 说 的 新 
生 代 /年 老 代 / 持 久 代 。 


一 般 来 说 ， 新 的 对 象 会 被 分 配 在 新 生 代 (Young)〉 的 Eden 区 ， 也 有 
可 能 会 被 直接 分 配 在 年 老 代 (Tenured) 。 在 进行 新 生 代 垃圾 回收 的 时 
候 ，Eden 区 中 存活 的 对 象 会 被 复制 到 空 的 Survivor 区 ， 而 下 次 新 生 代 垃 
圾 回收 的 时 候 ，Eden 区 存活 的 对 象 和 这 个 Survivor 区 中 存活 的 对 象 会 被 
复制 到 另外 那个 Survivor 区 ， 并 且 清 空当 前 的 Survivor 区 。 经 过 多 次 新 生 
代 垃 圾 回收 ， 还 存活 的 对 象 会 被 移动 到 年 老 代 。 而 年 老 代 的 空间 也 会 根 
据 一 定 的 条 件 进行 垃圾 回收 。 


在 Hotspot 中 ， 针 对 新 生 代 提 供 了 下 面 的 GC 方式 : 





串 行 GC - Serial Copying 
并 行 GC - ParNew 
并 行 回 收 GC - Parallel Scavenge 


针对 年 老 代 ， 有 下 面 的 GC 方 式 : 





串 行 GC - Serial MSC 

并 行 MS GC - Parallel MSC 

并 行 Compacting GC - Parallel Compacting 
并 发 6C - CMS 


在 Sun 的 Java 6 update 14 中 ， 引 入 了 Garbage First (G1) 回收 器 ，G1 
的 目标 是 取代 CMS 。 








下 面 我 们 看 一 下 JRockit 中 内 存 堆 布局 的 情况 ， 如 图 3-3 所 示 。 


Nursery Tenured 


一 
图 3-3 JRockit 内 存 堆 布局 


图 3-3 所 示 的 是 JRockit 中 分 代 的 一 种 内 存 堆 使 用 方式 ，Nursery 束 相 
当 于 Hotspot 中 的 Young， 其 中 的 Keep Area 区 域 可 以 使 自己 区 域 中 的 对 象 
跳 过 下 一 次 的 Young GC， 也 就 是 使 得 Keep Area 区 域 的 对 象 创建 后 ， 第 
二 次 Young GC 时 才 会 被 G6C。JRockit 还 有 一 种 内 存 堆 使 用 方式 ， 那 就 是 
不 对 整个 堆 进 行 分 代 ， 直 接 作为 一 个 完整 连续 的 堆 使 用 。 


最 后 我 们 来 看 一 下 IBM JVM 中 内 存 扒 布局 的 情况 ， 如 图 3-4 所 示 。 











Nursery Tenured 


>€ 








图 3-4 IBM JVM 内 存 堆 布局 


IBM JVM 的 分 代 名 称 与 JRockit 是 一 样 的 ， 在 Nursery 中 的 Allocate 和 
Survivor 与 Hotspot 中 的 Eden 和 Survivor 类 似 ， 只 是 IBM JVM 中 的 Survivor 
只 有 一 个 。 不 过 新 生 代 垃圾 回收 的 时 候 ， 也 是 从 Nursery 的 一 个 区 复制 
到 另外 一 个 区 的 。 


对 我 们 来 说 使 用 较 多 的 还 是 Oracle Hotspot JVM。 建 议 读者 多 花 时 
间 去 了 解 针 对 Hotspot 的 垃圾 回收 策略 、 设 置 和 调 优 。 


3.2.3 Java 并 发 编程 的 类 、 接 口 和 方 
法 


3.2.3.1 ”线程 池 


现在 是 多 核 的 时 代 ， 面 癌 多 核 编程 非常 重要 ， 因 此 基于 Java 的 并 发 
和 多 线程 开发 非常 重要 。 


首先 要 提 到 的 就 是 线程 池 。 与 每 次 需要 时 都 创建 线程 相 比 ， 线 程 池 
可 以 降低 创建 线程 的 开销 ， 这 也 是 因为 线程 池 在 线程 执行 结束 后 进行 的 
是 回收 操作 ， 而 不 是 真正 销毁 线程 。 我 们 可 以 看 一 下 使 用 线程 池 和 不 使 
用 线程 池 的 区 别 。 


我 们 在 线程 中 完成 一 个 很 简单 的 工作 ， 即 产生 一 个 随机 整数 ， 并 且 
把 这 个 随机 整数 加 入 到 一 个 队列 中 。 先 来 看 使 用 线程 池 的 代码 : 


long startTime=System.currentTimeMillis(); 
final List<Integer>l=new LinkedList<Integer>(); 
ThreadPoolExecutor tp=new ThreadPoolExecutor(1, 1, 60, TimeUn 
(count ) ) ; 
final Random random=new Random( ); 
for(int i=0;i<count;i++){ 
tp.execute(new Runnable( ){ 
@Override 
public void run(){ 
l1.add(random.nextInt()); 


} 
}); 
tp.shutdown( ); 
tryt{ 
tp.awaitTermination(1, TimeUnit.DAYS); 


catch (InterruptedException e){ 
e.printStackTrace( ); 


System.out.println(System.currentTimeMillis()-startTime); 
System.out.println(1.size( )); 


接着 看 一 下 不 用 线程 池 而 直接 使 用 线程 的 代码 : 


long startTime=System.currentTimeMillis(); 
final List<Integer>l=new LinkedList<Integer>(); 


final Random random=new Random( ); 
for(int i=0;i<count;i++)t{ 
Thread thread=new Thread(){ 
@Override 
public void run(){ 
1l.add(random.nextInt()); 
} 


}; 
thread.start( ); 


tryt{ 
thread.join(); 


catch (InterruptedException e){ 
e.printStackTrace( ) ; 
} 


System.out.println(System.currentTimeMillis()-startTime); 
System.out.println(1.size( )); 


上 面 两 种 方式 的 差异 在 于 ， 使 用 线程 池 的 方式 是 复 用 线程 的 ， 而 不 
使 用 线程 池 的 方式 是 每 次 都 要 创建 线程 的 。 在 同样 执行 200000 次 的 情况 
下 ， 使 用 线程 池 的 场景 一 共 消 耗 了 120 毫 秒 ， 而 没有 使 用 线程 池 的 场景 
则 总 共 消 耗 了 18852 坚 秒 。 当 然 ， 线 程 中 执行 的 工作 很 简单 ， 所 以 创建 
线程 的 开销 占 整 个 时 间 的 比例 较 大 。 


在 Java 中 ， 我 们 主要 使 用 的 线程 池 就 是 ThreadPoolExecutor， 此 外 还 
有 定时 的 线程 池 ScheduledThreadPoolExecutor。 需 要 注意 的 是 对 于 
Executors.newCachedThreadPool(0) 方 法 返回 的 线程 池 的 使 用 ， 该 方法 返 
回 的 线程 池 是 没有 线程 上 限 的 ， 在 使 用 时 一 定 要 当心 ， 因 为 没有 办 法 控 
制 总 体 的 线程 数量 ， 而 每 个 线程 都 是 消耗 内 存 的 ， 这 可 能 会 导致 过 多 的 
内 存 被 占用 。 建 议 尽 量 不 要 用 这 个 方法 返回 的 线程 池 ， 而 要 使 用 有 固定 
线程 上 限 的 线程 池 。 











3.2.3.2 synchronized 


synchronized 关 键 字 可 以 用 于 声明 方法 ， 也 可 以 用 于 声明 代码 块 ， 
我 们 分 别 看 一 下 有 具体 的 场景 。 


第 一 个 例子 的 代码 如 下 ， 其 中 foo1 和 foo2 是 SynchronizedDemo1 类 的 


两 个 静态 方法 。 在 不 同 的 线程 中 ， 这 两 个 方法 的 调用 是 互 斥 的 ， 不 仅 是 
它们 之 间 ， 任 何 两 个 不 同 线程 的 调用 也 互 斥 。 





public class SynchronizedDemo1{ 
public synchronized static void fooi(){ 


public synchronized static void foo2(){} 


了 
} 


第 二 个 例子 代码 如 下 ，foo3 和 foo4 是 SynchronizedDemo2 的 两 个 成 员 
方法 ， 在 多 线程 环境 中 ， 调 用 同一 个 对 象 的 foo3 或 者 foo4 是 互 斥 的 。 与 
上 一 个 例子 的 差别 在 于 ， 这 是 针对 同一 个 对 象 的 多 线程 方法 调用 互 斥 。 


public class SynchronizedDemo2{ 
public synchronized void foo3(){ 


public synchronized void foo4(){ 


} 


第 三 个 例子 是 用 synchronized 来 修饰 代码 块 ， 代 码 如 下 ， 这 里 需要 
注意 的 是 synchronized 后 面 会 有 一 个 参数 ， 其 实 这 个 束 是 用 于 同步 的 锁 
所 属 的 对 象 。 


public class SynchronizedDemo3{ 
public void foo5(){ 
synchronized (this)t{ 


} 
public void foo6(){ 
synchronized (SynchronizedDemo3.class)t{ 


} 


在 这 个 例子 中 synchronized (this〉 与 SynchronizedDemo3 中 加 
synchronized 的 成 员 方 法 是 互 太 的， 而 
synchronized (SynchronizedDemo3.class) 与 SynchronizedDemo3 中 加 
synchronized 的 静态 方法 是 互 斥 的 。synchronized 用 于 修饰 代码 块 会 更 加 


灵活 ， 因 为 除了 前 面 的 这 个 例子 外 ，synchronized 后 的 参数 可 以 是 任意 


对 象 


O 


3.2.3.3 ReentrantLock 


ReentrantLock 是 java.util.concurrent.locks 中 的 一 个 类 ， 是 从 JDK 5 开 


始 加 入 的 。ReentrantLock 的 用 法 类 似 于 修饰 代码 段 的 synchronized， 不 
过 需要 显 式 地 进行 nlock， 这 是 容易 出 错 的 地 方 ， 假 如 代码 出 现 异 常 而 
导致 没有 unlock， 那 就 会 出 问题 了 。 这 人 么 看 来 似乎 用 synchronized 更 安 


全 。 








那 为 什么 还 会 在 JDK5 增 加 这 么 一 个 类 呢 ? 原因 有 两 个 : 


ReentrantLock 提 供 了 tryLock 方 法 ，tryLock 调 用 的 时 候 ， 如 果 锁 被 
其 他 线程 持 有 ， 那 么 tryLock 会 立即 返回 ， 返 回 结果 为 false; 如 果 锁 
没有 被 其 他 线程 持 有 ， 那 么 当前 调用 线程 会 持 有 锁 ， 并 且 tryLock 返 
回 的 结果 是 true。 

构造 ReentrantLock 对 象 的 时 候 ， 有 一 个 构造 函数 可 以 接收 一 个 
boolean 类 型 的 参数 ， 那 就 是 描述 锁 公 平 与 否 的 函数 。 公 平 锁 的 好 处 
是 等 待 锁 的 线程 不 会 饿 死 ， 但 是 整体 效率 相对 低 一 些 ， 非 公平 锁 的 
好 处 是 整体 效率 相对 高 一 些 ， 但 是 有 些 线 程 可 能 会 饿 死 或 者 说 很 早 
就 在 等 待 锁 ， 但 要 等 很 久 才 会 得 到 锁 。 其 中 的 原因 是 公平 锁 是 严格 
按照 请 求 锁 的 顺序 来 排队 获取 锁 的 ， 而 非 公 平 锁 是 可 以 抢占 的 ， 即 
如 果 在 某 个 时 刻 有 线程 需要 获取 锁 ， 而 这 个 时 候 刚 好 锁 可 用 ， 那 么 
这 个 线程 就 会 直接 抢占 ， 而 这 时 阻塞 在 等 等 队 列 的 线程 则 不 会 被 唤 


醒 。 


此 外 ，ReentrantLock 也 提供 了 ReentrantReadWriteLock， 从 名 字 上 











就 可 以 看 出 是 读 写 锁 ， 主 要 用 于 读 多 写 少 并 且 读 不 需要 互 斥 的 场景 。 这 
样 的 场景 使 用 该 写 锁 会 比 使 用 全 部 互 斥 的 锁 的 性 能 高 很 多 。 


下 面 列 一 下 代码 片段 : 


lock.1lock(); 
tryt{ 
//do something 


finally{ 
lock.unlock(); 
} 


在 获得 锁 之 后 ，unlock 一 般 是 放 在 finally 中 ， 以 保证 一 定 会 释放 
锁 。 我 们 可 以 根据 需要 增加 相应 的 catch 块 。tryLock 的 写法 类 似 ， 这 里 
不 再 歼 述 。 


ReentrantReadWriteLock 与 ReentrantLock 的 用 法 很 类 似 ， 差 异 是 
ReentrantReadWriteLock 通 过 readLock() 和 writeLock() 两 个 方法 获得 相关 
的 读 锁 和 写 锁 操作 ， 而 这 两 个 锁 也 是 按照 前 面 的 方式 进行 加 锁 和 解锁 操 
人 








3.2.3.4 volatile 


之 前 提 到 了 synchronized 关 键 字 ，synchronized 除 了 有 互 斥 的 作用 
外 ， 还 有 可 见 性 的 作用 。 可 见 性 指 的 是 在 一 个 线程 中 修改 变量 的 值 以 
后 ， 在 其 他 线程 中 能 够 看 到 这 个 值 。synchronized 保 证 了 synchronized 块 
中 变量 的 可 见 性 ， 而 volatile 则 是 保证 了 所 修饰 变量 的 可 见 性 。volatile 是 
轻 量 级 的 实现 变量 可 见 性 的 方法 ， 其 具体 使 用 也 很 简单 ， 在 变量 前 面 增 
加 volatile 关 键 字 就 行 了 。 因 为 volatile 只 是 保证 了 同一 个 变量 在 多 线程 中 
的 可 见 性 ， 所 以 它 更 多 是 用 于 修饰 作为 开关 状态 的 变量 。 

与 Synchronized 及 ReentrantLock 等 提供 的 互 斥 相 比 ，volatile 只 提供 
了 变量 的 可 见 性 文 持 。 同 一 个 变量 线程 间 的 可 见 性 与 多 个 线程 中 操作 互 
操作 互 斥 是 提供 了 操作 整体 的 原子 性 ， 千 万 不 要 混 消 


我 们 通过 一 个 例子 来 看 一 下 : 























int i1; public int geti1(){return i1;} 
volatile int i2;public int geti2(){return i2;} 
int i3; public synchronized int geti3(){treturn i3;} 





代码 中 对 于 getil 的 调用 获取 的 是 当前 线程 中 的 副本 ， 这 个 值 不 一 定 
是 最 新 的 值 。 对 于 geti2， 因 为 2 被 修饰 为 volatile， 因 此 对 于 JVM 来 说 这 


个 变量 不 会 有 线程 的 本 地 副本 ， 只 会 放 在 主 存 中 ， 所 以 得 到 的 值 一 定 是 
最 新 的 。 而 对 于 geti3， 因 为 有 synchronized 关 键 字 修 饰 ， 保 证 了 线程 的 
ee 同步 ， 所 以 也 会 得 到 最 新 的 值 。 上 述 对 比 是 在 读 的 层 











我 们 接着 看 看 写 的 情况 。 同 样 的 ， 对 于 seti1， 当 前 线程 在 调用 了 
setil 后 会 得 到 最 新 的 这 值 ， 而 另外 的 线程 获取 不 一 定 可 以 立刻 看 到 最 新 
的 值 。 对 于 seti2， 则 可 以 立刻 在 其 他 线程 看 到 新 的 值 ， 因 为 volatile 保 证 
了 只 有 一 份 主 存 中 的 数据 。 对 于 seti3， 调 用 后 必须 在 synchronized 修 饰 
的 方法 或 代码 块 中 读 取 刘 的 值 才 可 以 看 到 最 新 值 ， 因 为 synchronized 不 仅 
会 把 当前 线程 修改 的 变量 的 本 地 副本 同步 给 主 存 ， 还 会 从 主 存 读 取 数 据 
更 新 本 地 副本 。 


int i1; public void seti1(int v){i1l=v;} 
volatile int i2;public void seti2(int v){i2=v;} 
int i3; public synchronized void seti3(int v){i3=v;} 


从 上 面 的 例子 可 以 看 出 volatile 和 synchronized 的 效果 是 类 似 的 ， 主 
要 的 差别 在 于 synchronized 还 有 互 斥 的 效果 。 我 们 来 看 一 个 简单 的 例 
子 : 


volatile int count; 
Hashtable<String, String>h=new Hashtable<String, String>(); 
public void addContent(String key, String value)t{ 
If(count<100 ){ 
h.put(key, value); 
COUNt++; 
} 
} 


上 面 的 代码 中 ， 我 们 用 count 来 计算 当前 进入 Hashtable 的 总 数 ， 但 
是 这 段 代 码 是 有 问题 的 。 原 因 是 volatile 虽 然 解 决 了 可 见 性 的 问题 ， 但 是 
不 能 控制 并 发 ， 也 就 是 多 个 线程 同时 执行 addContent 时 会 可 能 让 
Hashtable 的 元 素数 量 超过 100。 对 于 这 一 问题 采用 synchronized 就 可 以 解 
决 了 ， 因 为 synchronized 保 证 了 代码 块 的 串 行 执行 。 


3.2.3.5 Atomics 





在 JDK5 中 增加 了 java.util.concurrent.atomic 包 ， 这 个 包 中 是 一 些 以 
Atomic 开 头 的 类 ， 这 些 类 主要 提供 一 些 相关 的 原子 操作 。 我 们 以 
AtomicInteger 为 例 来 看 一 个 多 线程 计数 占 的 场景 。 场 景 很 简单 ， 让 多 个 
线程 都 对 计数 器 进行 加 1 操作 。 我 们 一 般 可 能 会 这 样 做 : 








public class Counteri1{ 
private int counter=0; 
public int increase(){ 
synchronized (this)t{ 
counter=counter+1; 
return counter; 


} 


} 
public int decrease(){ 
synchronized (this)t{ 
counter=counter-1; 
return counter; 


} 
而 采用 了 AtomicInteger 后 ， 代 码 会 变 成 下 面 的 样子 : 


public class Counter21{ 
private AtomicInteger counter=new AtomicIinteger(); 
public int increase()t{ 
return counter ,incrementAndGet ( ) ; 


public int decrease(){ 
return counter .decrementAndGet ( ) ; 


采用 AtomicInteger 之 后 代码 变 得 简洁 了 ， 更 重要 的 是 性 能 得 到 了 提 
升 ， 而 且 是 比较 明显 的 提升 ， 有 兴趣 的 读者 可 以 在 自己 的 机 器 上 进行 测 
试 。 性 能 提升 的 原因 主要 在 于 AtomicInteger 内 部 通过 JNI 的 方式 使 用 了 
人 硬件 支持 的 CAS 指 令 。 


而 在 java.util.concurrent.atomic 包 中 ， 除 了 AtomicInteger 外 ， 还 有 很 
多 实用 的 类 ， 具 体 使 用 方式 可 以 参考 相关 的 说 明 。 














3.2.3.6 wait、notify 和 notifyAll 


wait、notify 和 notifyAll 是 Java 的 Object 对 象 上 的 三 个 方法 。 顾 名 思 
义 ，wait 是 进行 等 待 的 ， 而 notify 和 notifyAll 是 进行 通知 的 。 在 多 线程 
中 ， 可 以 把 某 个 对 象 作 为 事件 对 象 ， 通 过 这 个 对 象 的 wait、notify 和 
notifyAll 方 法 来 完成 线程 间 的 状态 通知 。notify 和 notifyAll 都 是 唤醒 调用 
同一 个 对 象 wait 方 法 的 线程 ， 二 者 的 区 别 在 于 ，notify 会 唤醒 一 个 等 竺 线 
程 〈《 如 图 3-5 所 示 ) ， 而 notifyAll 会 唤醒 所 有 的 等 待 线程 〈 如 图 3-6 所 
A 








图 3-6 ”wait 与 notifyAll 


图 3-5 的 代码 示例 如 下 ，wait 与 notifyAl 的 情况 与 之 类 似 。 提 醒 一 
下 ， 对 wait、notify 和 notifyAl 的 调用 都 必须 是 在 对 象 的 Synchronized 块 
中 。 


public void testwait() throws InterruptedExceptiont{ 
synchronized (this)t{ 


this .wait( ); 


} 
public void testNotify()t{ 
synchronized (this)t{ 
this.notify(); 
2 


2 
在 实践 中 ， 对 wait 的 使 用 一 般 是 暴 在 一 个 循环 中 ， 并 且 会 判断 相关 


的 数据 状态 是 否 到 达 预 期 ， 如 果 没有 则 会 继续 等 每 ， 这 么 做 主要 是 为 了 
防止 虚假 唤醒 。 





3.2.3.7 CountDownLatch 


CountDownLatch 是 java.util.concurrent 包 中 的 一 个 类 。 
CountDownLatch 主 要 提供 的 机 制 是 当 多 个 (具体 数量 等 于 初始 化 
CountDownLatch 时 的 count 参 数 的 值 ) 线程 都 到 达 了 预期 状态 或 完成 预 
期 工作 时 触发 事件 ， 其 他 线程 可 以 等 待 这 个 事件 来 触发 自己 后 续 的 工 
作 。 这 里 需要 注意 的 是 ， 等 待 的 线程 可 以 是 多 个 ， 即 CountDownLatch 是 
可 以 唤醒 多 个 等 待 的 线程 的 。 到 达 上 自己 预期 状态 的 线程 会 调用 
CountDownLatch 的 countDown 方 法 ， 而 等 待 的 线程 会 调用 
CountDownLatch 的 await 方 法 。 从 图 3-7 中 我 们 能 更 容易 地 理解 。 











latch.countDown latch.countDown latch.countDown 


latch.await latch.await 





图 3-7 CountDownLatch 


如 图 3-7 所 示 ， 如 果 CountDownLatch 初 始 化 的 count 为 3， 并 且 当 线 
程 1、 线 程 2、 线 程 3 都 完成 了 latch.countDown 调 用 后 ， 线 程 4 和 线程 5 会 
从 latch.await 返 回 ， 继 续 执行 后 面 的 代码 。 


如 果 CountDownLatch 初 始 化 的 count 值 为 1， 那 么 这 就 退化 为 一 个 单 
一 事件 了 ， 即 是 由 一 个 线程 来 通知 其 他 线程 ， 效 果 等 同 于 对 象 的 wait 和 
notifyAll。count 值 大 于 1 是 常用 的 方式 ， 目 的 是 让 多 个 线程 到 达 各 自 的 
预期 状态 ， 变 为 一 个 事件 进行 通知 ， 线 程 则 继续 自己 的 行为 。 而 且 这 对 
于 等 待 事件 的 线程 是 透明 的 ， 否 则 等 待 的 线程 就 需要 等 待 很 多 事件 了 。 


我 们 来 看 一 个 具体 的 例子 吧 。 假 设 我 们 使 用 一 台 多 核 的 机 器 对 一 组 
数据 进行 排序 ， 那 么 我 们 可 以 把 这 组 数据 分 到 不 同 线程 中 进行 排序 ， 然 
后 合并 ;可 以 利用 线程 池 来 管理 多 线程 ， 可 以 将 CountDownLatch 用 作 各 
个 分 组 数据 都 排 好 序 的 通知 。 下 面 来 看 一 下 代码 片段 。 


先 看 主线 程 : 














Int count=10 ， 
final CountDownLatch atch=new CountDownLatch(count); 
int[] datas=new int[10204]; 
int step=datas.1length/count; 
for(int i=0;i<count;i++){ 
int start=i*step; 
int end=(i+1)*step; 
if( i==count-1) end=datas.1length; 
threadPool.execute(new MyRunnable(latch, datas, s 


} 
latch.await(); 
// 合 并 数据 


这 里 没有 完整 列 出 创建 线程 池 及 合并 数据 的 代码 。 我 们 再 看 一 下 具 
体 任务 的 代码 ， 也 就 是 MyRunnable 的 run 方 法 的 实现 : 





public void run(){ 
// 数 据 排序 


latch.countDown( ); 


} 


由 于 篇 幅 关 系 ， 这 里 没有 列 出 数据 排序 的 具体 代码 ， 只 是 为 了 让 读 
者 了 解 一 下 CountDownLatch 的 countDown() 方 法 的 使 用 。 





3.2.3.8 CyclicBarrier 


CyclicBarrier， 从 字面 理解 是 指 循环 屏障 。CyclicBarrier 可 以 协同 多 
个 线程 ， 让 多 个 线程 在 这 个 屏障 前 等 待 ， 直 到 所 有 线程 都 到 达 了 这 个 屏 
障 时 ， 再 一 起 继续 执行 后 面 的 动作 。 来 看 看 图 3-8。 











barrier.await barrier.await 
| barrier.await | 


图 3-8 CyclicBarrier 


图 3-8 的 三 个 线程 中 各 有 一 个 barrier.await， 那 么 任何 一 个 线程 在 执 
行 到 barrier.await 时 束 会 进入 阻塞 等 待 状态 ， 直 到 三 个 线程 都 到 了 
barrier.await 时 才 会 同时 从 await 返 回 ， 继 续 后 续 的 工作 。 此 外 ， 如 果 在 
构造 CyclicBarrier 时 设置 了 一 个 Runnable 实 现 ， 那 么 最 后 一 个 到 
barrier.await 的 线程 会 执行 这 个 Runnable 的 run 方 法 ， 以 完成 一 些 预 设 的 
I 


我 们 看 一 下 ， 如 果 把 前 面 使 用 CountDownLatch 的 代码 改 为 使 用 


CyclicBarrier 会 怎样 : 








int count=10; 
final CyclicBarrier barrier=new CyclicBarrier(count+1); 
int[] datas=new int[10204]; 
int step=datas.1length/count; 
for(int i=0;i<count;i++){ 
int start=i*step; 
int end=(i+1)*step; 
if( i==count-1) end=datas.1length; 
threadPool.execute(new MyRunnable(barrier, datas, sta 
} 
barrier .await( ); 


// 合 并 数据 


可 以 看 到 ， 构 造 CyclicBarrier 对 象 传 入 的 参数 与 构造 
CountDownLatch 对 象 传 入 的 参数 值 不 同 ， 前 者 比 后 者 的 参数 大 了 1。 原 
是 构造 CountDownLatch 的 参数 的 数值 是 调用 countDown 的 数量 ， 而 





CyclicBarrier 的 数量 是 await 的 数量 。 


来 看 一 下 工作 线程 的 代码 ， 与 CountDownLatch 的 具体 任务 的 代码 很 
像 ， 只 是 多 了 捕获 异 闻 的 代码 : 


public void run()t{ 
// 数 据 排序 


tryt{ 
barrier .await( ); 
} catch (InterruptedException e){ 
} catch (BrokenBarrierException e){ 


} 
} 


CyclicBarrier 和 CountDownLatch 都 是 用 于 多 个 线程 间 的 协调 的 。 二 
者 的 一 个 很 大 的 差别 是 ，CountDownLatch 是 在 多 个 线程 都 进行 了 
latch.countDown 后 才 会 触发 事件 ， 唤 醒 await 在 latch 上 的 线程 ， 而 执行 
countDown 的 线程 ， 执 行 完 countDown 后 会 继续 自己 线程 的 工作 ; 
CyclicBarrier 是 一 个 栅栏 ， 用 于 同步 所 有 调用 await 方 法 的 线程 ， 并 且 等 
所 有 线程 都 到 了 await 方 法 时 ， 这 些 线程 才 一 起 返回 继续 各 自 的 工作 〈 因 
为 使 用 CyclicBarrier 的 线程 都 会 阻塞 在 await 方 法 上 ， 所 以 在 线程 池 中 使 
用 CyclicBarrier 时 要 特别 小 心 ， 如 果 线 程 池 的 线程 数 过 少 ， 那 么 就 会 发 
生死 锁 了 ) 。 此 外 ，CountDownLatch 与 CyclicBarrier 还 有 一 个 差别 ， 那 
就 是 CountDownLatch 不 能 循环 使 用 ，CyclicBarrier 可 以 循环 使 用 。 








3.2.3.9 Semaphore 








Semaphore 是 用 于 管理 信号 量 的 ， 构 造 的 时 候 传 入 可 供 管 理 的 信和 号 
量 的 数值 。 简 单 来 说 ， 信 和 号 量 对 象 管理 的 信号 就 像 令 牌 ， 构 造 时 传 入 个 
数 ， 总 数 就 是 控制 并 发 的 数量 。 我 们 需要 控制 并 发 的 代码 ， 执 行 前 先 获 
取信 号 〈 通 过 acquire 获 取信 号 许可 ) ， 执 行 后 归还 信号 〈 通 过 release 归 
还 信号 许可 ) 。 每 次 acquire 成 功 返 回 后 ，Semaphore 可 用 的 信号 量 就 会 
减少 一 个 ， 如 果 没 有 可 用 的 信号 ，acquire 调 用 就 会 阻塞 ， 等待 有 release 
调用 释放 信号 后 ，acquire 才 会 得 到 信号 并 返回 。 


如 果 Semaphore 管 理 的 信号 量 只 有 1 个 ， 那 么 就 退化 到 互 斥 锁 了 ; 如 
果 多 于 1 个 信号 量 ， 则 主要 用 于 控制 并 发 数 。 与 通过 控制 线程 数 来 控制 














并 发 数 的 方式 相 比 ， 通 过 Semaphore 来 控制 并 发 数 可 以 控制 得 更 加 细 粒 
度 ， 因 为 真正 被 控制 最 大 并 发 的 代码 放 到 acquire 和 release 之 间 就 行 了 。 


我 们 通过 一 个 例子 看 一 下 Semaphore 的 使 用 ， 例如 我 们 需要 控制 远 
程 方 法 的 并 发 量 ， 超 过 并 发 量 的 方法 就 等 待 有 其 他 方法 执行 返回 后 再 执 
行 ， 那 么 代码 大 概 是 这 样 的 : 





semaphore.acquire( ); 
try 
// 调 用 远程 通信 的 方法 








finallyf{ 
semaphore.release( ); 


代码 很 简单 ， 需 要 我 们 注意 的 仍然 是 release 的 调用 。 此 外 ，acquire 
和 release 是 可 以 有 参数 的 ， 参 数 的 含义 束 是 获取 /返还 的 信号 量 的 个 数 。 


3.2.3.10 Exchanger 


Exchanger， 从 名 字 上 理解 就 是 交换 。Exchanger 用 于 在 两 个 线程 之 
间 进 行 数据 交换 。 线 程 会 阻塞 在 Exchanger 的 exchange 方 法 上 ， 直 到 另外 
一 个 线程 也 到 We 的 exchange 方 法 时 ， 二 者 进行 交换 ， 然 
后 两 个 线程 会 续 执 行 自 身 相 关 的 代码 。 


如 图 3-9 所 示 的 两 个 线程 ， 的 Cn 都 
会 等 等 男 外 一 个 线程 也 到 达 ， 然 后 交换 数据 ， 继 续 同 下 执行 


exchanger.exchan exchanger.exchan 
Be ge 





图 3-9 Exchanger 


下 面 通过 代码 看 一 个 具体 的 例子 。 假 设 有 两 个 线程 ， 线 程 1 和 线程 
2， 它 们 都 有 一 个 队列 ， 我 们 在 它们 的 队列 中 分 别 写 入 数据 ， 然 后 线程 
交换 队列 ， 打 印 队 列 数据 后 结束 。 


final Exchanger<List<Integer>>exchanger = new Exchanger <List 
() ; 
new Thread( ){ 
@Override 
public void run(){ 
List<Integer>1 = new ArrayList<Integer>(2); 
1.add(1); 
1.add(2); 
try{ 
l=exchanger .exchange(1); 
} catch (InterruptedException e) { 
e.printStackTrace( ); 
} 


System.out.println("Thread1"+]1); 


} 
}.start(); 
new Thread( ){ 
@Override 
public void run(){ 
List<Integer>1 = new ArrayList<Integer>(2); 
1.add(4); 
1.add(5); 
try { 
1 = exchanger .exchange(1); 
} catch (InterruptedException e) { 
e.printStackTrace( ); 
} 


System.out.println("Thread2"+1); 


} 
}.start(); 


3.2.3.11 Future 和 FutureTask 


Future 是 一 个 接口 ，FutureTask 是 一 个 具体 实现 类 。 我 们 这 里 先 通 过 
-个 场景 来 看 看 几 种 不 同 的 处 理 方式 。 
例如 ， 现 在 通过 调用 一 个 方法 从 远程 获取 一 些 计 算 结果 ， 假 设 有 这 





HashMap getDataFromRemote( ) 


如 打 是 最 传统 的 同步 方式 使 用 ， 代 码 大 概 是 这 样 的 : 


HashMap data = getDataFromRemote( ); 


我 们 将 一 直 等 待 getDataFromRemote0O 的 返回 ， 然 后 才能 继续 后 面 的 
工作 。 这 个 函数 是 从 远程 获取 数据 的 计算 结果 的 ， 如 果 需 要 的 时 间 很 
长 ， 并 且 后 面 的 那 部 分 代码 与 这 些 数据 没有 关系 的 话 ， 阻 堵 在 这 里 等 符 
结果 就 会 比较 浪费 时 间 。 那 么 我 们 有 什么 办 法 改进 呢 ? 

能 够 想到 的 办 法 就 是 调用 函数 后 马上 返回 ， 然 后 继续 癌 下 执行 ， 等 
需要 用 数据 时 再 来 用 ， 或 者 说 再 来 等 待 这 个 数据 。 有 具体 实现 起 来 有 两 种 
方式 ， 一 个 是 用 Future， 另 一 个 是 用 回调 。 


我 们 先 来 看 一 下 Future 该 怎么 用 ， 代 码 如 下 : 














Future<HashMap>future = getDataFromRemote2( ) 
//do something 
HashMap data = (HashMap) future.get(); 


可 以 看 到 ， 我 们 调用 的 方法 返回 的 是 一 个 Future 对 象 
(getDataFromRemote2 与 getDataFromRemote 是 不 同 的 ) ， 然 后 接着 进 
行 自 己 的 处 理 ， 后 面 通过 future.get 来 获取 真正 的 返回 值 。 也 就 是 说 ， 在 





调用 了 getDataFromRemote2 后 ， 就 已 经 启动 了 对 远程 计算 结果 的 获取 ， 
同时 自己 的 线程 还 在 继续 处 理 ， 直 到 需要 时 再 获取 数据 。 我 们 看 一 下 
getDataFromRemote2 的 实现 : 


private Future<HashMap>getDataFromRemote2(){ 
return threadPool.submit(new Callable<HashMap>(){ 
public HashMap call() throws Exceptiont{ 
return getDataFromRemote( ); 


}); 
} 


可 以 看 到 ， 在 getDataFromRemote2 中 还 是 使 用 了 
getDataFromRemote 来 完成 具体 操作 ， 并 且 用 到 了 线程 池 : 把 任务 加 入 
线程 池 中 ， 把 Future 对 象 返回 出 去 。 我 们 调用 了 getDataFromRemote2 的 
线程 ， 然 后 返回 来 继续 下 面 的 执行 ， 而 背后 是 另外 的 线程 在 进行 远程 调 
用 及 等 待 的 工作 。 


对 于 Future 来 说 ， 除 了 刚才 代码 中 的 get 方 法 外 ， 还 有 一 个 带 参数 的 
用 来 设置 get 的 等 竺 时间， 也 就 是 进行 超时 设置 ， 而 不 是 一 直 
等 下 去 。 


除了 使 用 Future 外 ， 另 一 种 具体 实现 方式 是 使 用 回调 的 方式 来 修改 
阻塞 的 调用 。 这 里 就 不 列 出 具体 代码 了 ， 有 兴趣 的 读者 可 以 自己 写 一 
下 。 


FutureTask 是 一 个 具体 实现 类 ， 在 前 面 例子 中 ，ThreadPoolExecutor 
的 submit 方 法 返回 的 是 一 个 Future 的 实现 ， 这 个 实现 就 是 FutureTask 的 一 
个 具体 实例 。FutureTask 帮 助 实现 了 有 具体 的 任务 执行 以 及 与 Future 接 口中 
的 get 等 方法 的 关联 。FutureTask 除 了 帮助 ThreadPoolExecutor 很 好 地 实现 
了 对 加 入 线程 池 的 任务 的 Future 文 持 外 ， 也 为 我 们 提供 了 很 大 的 便利 ， 
使 得 我 们 目 己 也 可 以 实现 文 持 Future 的 任务 调度 。 








3.2.3.12 ”并 发 容器 


在 JDK 中 ， 有 一 些 线 程 不 安全 的 容器 ， 也 有 一 些 线程 安全 的 容器 。 
并 发 容 占 是 线程 安全 容器 的 一 种 ， 但 是 并 发 容 占 强调 的 是 容 恤 的 并 发 





性 ， 也 就 是 说 不 仅 奶 求 线程 安全 ， 还 要 考虑 并 发 性 ， 提 升 在 容器 并 发 环 
境 下 的 性 能 。 


加 锁 互 斥 的 方式 确实 能 够 方便 地 完成 线程 安全 ， 不 过 代价 是 降低 了 
并 发 性 ， 或 者 说 就 是 串 行 了 。 而 并 发 容器 的 思路 是 尽量 不 用 锁 ， 比 较 有 
代表 性 的 是 以 CopyOnWrite 和 Concurrent 开 头 的 几 个 容器 。CopyOnWrite 
的 思路 是 在 更 改 容器 的 时 候 ， 把 容器 写 一 份 进行 修改 ， 保 证 正在 读 的 线 
程 不 受 影 响 ， 这 种 方式 用 在 读 多 写 少 的 场景 中 会 非常 好 ， 因 为 实质 上 是 
在 写 的 时 候 重建 了 一 次 容器 。 而 以 Concurrent 开 头 的 容器 的 具体 实现 方 
式 则 不 完全 相同 ， 总 体 来 说 是 尽量 保证 读 不 加 锁 ， 并 且 修 改 时 不 影响 
读 ， 所 以 会 达到 比 使 用 读 写 锁 更 高 的 并 发 性 能 。 关 于 文 持 并 发 的 容器 的 
各 种 具体 实现 ， 读 者 可 以 直接 分 析 JDK 中 的 源码 。 


3.2.4 动态 代理 


在 3.2.3 节 中 我 们 介绍 了 Java 并 发 编程 中 的 一 些 重要 的 类 、 接 口 及 方 
法 ， 这 一 节 我 们 来 看 一 下 动态 代理 ， 这 对 后 面 讲 中 间 件 的 实现 是 非常 重 
要 的 基础 。 大 家 都 比较 熟悉 程序 设计 中 的 代理 模式 ， 代 理 类 与 委托 类 具 
有 同样 的 接口 ， 代 理 类 也 有 很 多 的 实际 应 用 。 在 具体 实现 上 ， 有 静态 代 
理 和 动态 代理 之 分 。 


静态 代理 方式 是 为 每 个 被 代理 的 对 象 构造 对 应 的 代理 类 ， 这 种 方式 
相对 有 些 麻 烦 ， 例 如 我 们 有 一 个 计算 器 的 接口 以 及 一 个 具体 的 实现 : 
































public interface Calculatort{ 
int add(int a, int b); 


} 
public class CalculatorIimpl implements Calculatort{ 
public int add(int a, int b){ 
return a + b; 


public class CalculatorProxy implements Calculatort{ 
private Calculator calculator; 
CalculatorProxy(Calculator calculator)t{ 
this.calculator=calculator; 
} 


public int add(int a, int b)t{ 
// 具 体 执行 前 可 以 做 的 工作 
int result=calculator.add(a, b); 
// 具 体 执行 后 可 以 做 的 工作 


return resuJ]t 








S 


在 上 面 的 代码 中 ， 我 们 定义 了 一 个 接口 Calculator、 一 个 具体 实现 类 
CalculatorImpl 和 一 个 代理 类 CalculatorProxy。 在 CalculatorProxy 类 的 实现 
中 ， 我 们 可 以 看 到 在 add 方 法 中 调用 了 真正 实现 类 的 add 方 法 ， 并 且 在 调 
用 真实 方法 之 前 和 之 后 都 有 机 会 做 一 些 工 作 ， 例 如 记录 上 日志、 记录 执行 
时 间 等 。 这 种 方式 看 上 去 非常 直接 ， 实 现 也 比较 方便 ， 不 过 存在 一 个 问 
题 ， 即 如 果 需 要 对 多 个 类 进行 代理 ， 并 且 在 代理 类 中 的 功能 实现 是 一 致 
的 那么 我 们 就 需要 为 每 一 个 具体 的 类 都 完成 一 个 代理 类 ， 然 后 重复 地 
写 很 多 类 似 的 代码 一 一 这 会 非常 麻烦 。 


使 用 动态 代理 可 以 帮助 我 们 解除 这 种 麻烦 。 动 态 代理 是 动态 地 生成 
有 共 体 委托 类 的 代理 类 实现 对 象 。 与 静态 代理 不 同 ， 动 态 代理 并 不 需要 为 
各 个 委托 类 逐一 实现 代理 类 ， 只 需要 为 一 类 代理 行为 号 一 个 具体 的 实现 
类 就 行 了 。 例 如 ， 我 们 现在 需要 计算 一 些 方法 调用 时 间 ， 如 果 用 静态 代 
理 就 需要 为 每 个 委托 类 都 写 一 个 代理 类 ， 而 用 动态 代理 则 会 非常 简单 。 
下 面 我 们 来 看 一 个 具体 的 例子 ， 其 中 具体 的 实现 类 以 及 所 实现 的 接口 的 
写法 与 前 面 静态 代理 是 相同 的 ， 我 们 来 看 一 下 不 同 的 部 分 : 























public void testDynamicPproxy(){ 
Calculator calculator = new CalculatorImpl(); 
LogHandler lh = new LogHandler(calculator); 
Calculator proxy= 
(Calculator) Proxy.newProxyInstance(calculator 
.getClass().getClassLoader(), calculator.get 


proxy.add(1, 1); 


public class LogHandler implements InvocationHandlert{ 
Object obj; 
LogHandler (Object obj)t{ 
this .obj=obj; 


} 
public Object invoke(Object obj1, Method method, Object[] 
throws Throwablef{ 
this.doBefore( ); 


Object o=method.invoke(obj, args); 
this.doAfter(); 
return o; 


} 
public void doBefore( ){ 
System.out,println("do this before"); 


} 
public void doAfter(){ 
System.out.println("do this after"); 


} 


从 上 面 的 代码 可 以 看 到 动态 代理 的 使 用 方式 及 动态 代理 本 吴 的 实 
现 。 通 过 Proxy.newProxyInstance 来 创建 代理 的 方法 可 以 为 不 同 的 委托 类 
都 创建 代理 类 。 在 具体 的 代理 实现 上 ， 所 给 出 的 是 通用 的 实现 ， 被 代理 
的 方法 调用 都 会 进入 invoke 方 法 中 ， 我 们 可 以 在 invoke 的 内 部 做 很 多 事 
情 。 从 上 面 的 代码 可 以 看 到 ， 使 用 动态 代理 后 ， 对 于 做 同样 事情 的 代理 
只 需 实现 一 过 ， 就 可 以 提供 给 多 个 不 同 的 委托 类 使 用 了 。 


3.2.5 反射 


与 动态 代理 一 样 ， 反 射 也 是 中 间 件 实现 的 重要 基础 。 反 射 是 Java 提 
供 的 非常 方便 而 又 强大 的 功能 。Java 反 射 机 制 是 指 在 运行 状态 中 ， 对 于 
任意 一 个 类 ， 都 能 够 知道 这 个 类 的 所 有 属性 和 方法 ， 对 于 任意 一 个 对 
象 ， 都 能 够 调用 它 的 任意 一 个 方法 和 属性 。Java 反 射 机 制 主 要 提供 了 以 
下 功能 : 在 运行 时 判断 任意 一 个 对 象 所 属 的 类 ; 在 运行 时 构造 任意 一 个 
类 的 对 象 ， 在 运行 时 判断 任意 一 个 类 所 具有 的 成 员 变 量 和 方法 ;在 运行 
时 调用 任意 一 个 对 象 的 方法 ， 生 成 动态 代理 。 


Java 的 反射 机 制 为 Java 本 号 融 来 了 动态 性 ， 是 一 个 非常 强大 的 工 
有 具 ， 能 够 让 代码 变 得 更 加 灵活 。Java 的 反射 机 制 使 得 Java 语 言 可 以 在 运 
行 时 去 认识 在 编译 时 并 不 了 解 的 类 /对 象 的 信息 ， 并 且 能 够 调用 相应 的 
方法 并 修改 属性 值 。 反 射 的 技术 对 于 后 面 实现 通用 的 远程 调用 的 框架 有 
非常 大 的 帮助 。 


我 们 下 面 来 看 看 各 种 反射 用 法 的 示例 。 




















1. 获取 对 象 属于 哪个 类 


Class clazz = object.getClass(); 


获取 对 应 的 类 非常 简单 ， 一 行 代 码 就 可 以 了 。 而 拿 到 具体 的 Class 对 
象 -clazz 后 就 可 以 做 很 多 工作 了 。 





2. 获取 类 的 信息 











String className = clazz.getName( ); // 获 取 类 的 名 称 

Method[] methods = clazz.getDeclaredMethods(); // 获 取 类 中 定义 的 
方法 

Field[] fields = clazz.getDeclaredFields(); // 获 取 类 中 定义 的 
成 员 


上 面 的 代码 只 是 通过 Class 对 象 获取 类 信息 的 部 分 代码 ， 通 过 Class 
对 象 可 以 获取 更 丰富 的 内 容 ， 根 据 具体 场景 中 的 需求 去 完成 代码 就 可 以 
可 








3. 构建 对 象 


Class.forName ("ClassName") .newInstance(); 


上 面 的 这 行 代码 是 创建 对 象 的 一 种 方式 。 可 以 看 到 与 平时 的 new 
XXX0 完 全 不 同 ， 在 这 里 ，"ClassName" 字 符 串 可 以 用 一 个 变量 代替 ， 也 
就 是 运行 时 才 知 道 要 构建 的 对 象 的 类 是 什么 ， 而 不 是 像 new XXX() 那 样 
进行 硬 编码 。 这 正 是 动态 性 的 体现 。 


此 外 ， 需 要 注意 的 是 通过 newInstance 调 用 来 构造 对 象 时 ， 要 求 被 构 
造 的 对 象 的 类 一 定 要 有 一 个 无 参数 的 构造 函数 ， 否 则 会 抛 出 异常 。 而 接 
下 来 看 到 的 动态 执行 方法 除了 可 以 执行 普通 方法 外 ， 也 可 以 调用 构造 函 
数 ， 这 也 是 构建 对 象 的 一 种 方式 。 





4. 动态 执行 方法 


Method method = clazz.getDeclaredMethod("add", int.class, int 
method.invoke(this, 1, 1) 


上 面 的 代码 是 调用 对 象 的 方法 的 例子 ， 主 要 分 为 两 个 步骤 ， 首 先 获 
取 方 法 (Method) 对 象 本 身 ， 然 后 调用 Method 的 invoke 方 法 。 相 对 于 调 
用 类 的 静态 方法 ， 差 别 在 于 Method 的 invoke 方 法 的 第 一 个 参数 可 以 直接 
传 null。 


5. 动态 操作 属性 


Field field = clazz.getDeclaredField("name"); 
field.set(this, "Test"); 


操作 属性 的 方式 与 调用 方法 非常 类 似 ， 需 要 先 获取 Field 对 象 ， 然 后 
通过 set 方 法 来 设置 属性 值 ， 通 过 get 方 法 来 获取 属性 值 。 如 果 是 属于 类 
的 静态 属性 ， 那 么 set 和 get 方 法 的 第 一 个 参数 可 以 直接 设置 为 null。 


除了 Java 目 吴 提 供 的 动态 代理 和 反射 的 文 持 外 ， 字 节 码 增强 也 是 经 
常会 用 到 的 技术 ， 并 且 有 一 些 第 三 方 的 库 可 以 直接 使 用 。 比 较 常 见 的 有 
Javassist (http://www/javassist.org) 、 
cglib (http://cglib.sourceforge.net) 、asm (http://asm.ow2.0org) 和 bcel 

(http://commons.apache.org/bcel/)， 读 者 可 以 到 这 几 个 网 站 上 了 解 具体 
人 其 他 很 多 网 站 上 也 有 非常 多 的 介绍 和 具体 例子 ， 读 者 可 以 自行 查 
二 。 


3.2.6 ”了 网络 通 信 实 现 选 择 


网 络 通信 在 分 布 式 系统 和 大 型 网 站 中 非常 重要 ，Java 中 间 件 系统 也 
要 与 网 络 通信 打交道 。 在 第 1 章 关 于 分 布 式 系统 的 基础 知识 中 ， 我 们 介 
绍 过 网 络 通信 的 知识 ， 主 要 介绍 了 三 个 模型 ， BIO、NIO 和 AIO。 在 1.4 

















版 本 的 JDK 中 ， 增 加 了 对 NIO 的 文 持 ;在 1.7 版 本 的 JDK 〈 也 就 是 Java SE 
7) 中 ， 增 加 了 对 AIO 的 支持 。Java 对 于 NIO 和 AIO 的 支持 让 我 们 能 够 更 
好 地 进行 网 络 通信 的 服务 端的 开发 。 


在 具体 的 开发 中 ， 我 们 可 以 直接 使 用 JDK 提 供 的 API 进 行 开发 ， 也 
可 以 选择 一 些 其 他 框架 来 简化 工作 ， 例 如 MINA、Netty 等 。 此 外 ， 一 个 
非常 重要 的 内 容 就 是 协议 的 制定 ， 我 们 将 在 后 面 服务 框架 的 章节 进行 介 
i 
尝试 实现 一 下 。 


3.3 分布 式 系统 中 的 Java 中 间 件 


在 前 面 的 小 节 中 ， 我 们 介绍 了 构建 Java 中 间 件 的 相关 基础 知识 ， 在 
第 2 章 中 ， 我 们 也 通过 一 个 例子 看 到 了 网 站 从 小 到 大 的 演进 中 会 遇 到 的 
问题 。 再 来 回顾 一 下 大 型 网 站 架构 演进 的 最 后 一 个 图 ， 如 图 3-10 所 示 。 
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根据 第 2 章 的 讲述 ， 我 们 知道 在 网 站 的 泪 进 过 程 中 ， 一 些 非常 重要 
的 变化 包括 应 用 的 拆 分 、 服 务 的 拆 分 、 数 据 的 拆 分 和 应 用 的 解 厢 。 而 在 
大 型 网 站 中 要 具体 完成 这 样 的 工作 ， 就 需要 对 应 的 中 间 件 产品 来 应 对 和 
解决 相应 问题 。 


前 面 我 们 提 到 过 中 间 件 的 范畴 是 很 广泛 的 ， 后 面 章节 要 介绍 的 中 间 
件 是 指 用 来 文 撑 网 站 从 小 到 大 的 变化 过 程 中 解雇 应 用 拆 分 、 服 务 拆 分 、 
数据 拆 分 和 应 用 解 奈 问题 的 产品 。 服 务 框架 帮助 我 们 对 应 用 进行 拆 分 ， 
完成 服务 化 ， 数 据 层 则 帮助 我 们 完成 数据 的 拆 分 以 及 整个 数据 的 管理 、 
扩容 、 迁 移 等 工作 ; 消 娠 中 间 件 帮助 我 们 完成 应 用 的 解 厢 ， 并 向 我 们 提 
供 一 种 分 布 式 环境 下 完成 事务 的 思路 。 


如 果 把 将 要 介绍 的 中 间 件 系统 放 到 图 3-10 所 示 的 网 站 结构 图 中 ， 则 
会 成 为 图 3-11 所 示 的 样子 。 我 们 先 从 这 幅 概 要 图 看 一 下 全 景 ， 然 后 再 具 
体 介 绍 每 一 部 分 的 内 容 。 
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图 3-11 引入 中 间 件 的 结构 图 


如 图 3-11 所 示 ， 在 WebApp 和 Service 之 间 ， 我 们 通过 服务 框架 解决 
了 集群 间 的 通信 问题 ;在 应 用 和 数据 库 之 间 ， 我 们 通过 分 布 式 数据 层 让 
应 用 可 以 方便 地 访问 已 被 分 库 分 表 的 数据 库 节 点 ; 数据 复制 /迁移 帮助 
我 们 更 好 地 根据 业务 需求 完成 数据 的 分 布 ， 男 外 ， 软 负载 中 心 和 持久 配 
2 0 0 











在 本 书 接 下 来 的 几 半 中 ， 我 们 将 一 起 看 一 下 这 儿 个 Java 中 间 件 产品 
的 具体 设计 和 实现 。 


第 4 革 ”服务 框架 


在 本 书 接 下 来 的 几 章 中 ， 我 们 将 一 起 学 习 文 撑 大 型 网 站 的 Java 中 间 
我 们 从 解决 应 用 服务 化 问题 的 服务 框架 开始 
说 起 。 


~ 台 C 上 FE 7 二 十 它 ， 
4.1 网 站 功能 持续 丰 宣 后 的 困境 与 应 
对 

图 4-1 所 示 的 是 网 站 结构 的 一 个 示意 图 ， 很 多 网 站 都 会 经 历 或 正 处 
于 这 样 的 阶段 。 这 个 结构 相对 简单 ， 网 站 的 业务 功能 集中 在 几 个 大 应 用 


上 ， 而 且 这 些 应 用 都 直接 访问 底层 的 服务 ， 例 如 数据 库 、 缓 存 、 分 布 式 
文件 系统 、 搜 索引 擎 等 。 














图 4-1 ”网 站 结构 示意 图 

















应 该 说 这 样 的 结构 很 清晰 并 足够 解决 问题 。 笔 者 在 加 入 淘宝 的 时 
候 ， 淘 宝 网 大 概 也 是 这 样 的 结构 ， 而 且 在 当时 很 好 地 支撑 了 每 日 一 亿 元 
的 成 区 额 和 百 万 笔 的 订单 。 随 着 压力 的 上 升 ， 我 们 更 多 想到 的 是 增加 应 
用 服务 器 的 数量 ， 但 是 这 给 数据 库 的 连接 数 市 来 了 比较 大 的 压力 。 此 
外 ， 随 大 网 站 规模 的 扩大 ， 开 友人 员 逐 渐 增 多 ， 于 是 每 个 应 用 都 在 变 得 
复杂 、 胱 肿 一 一 在 多 个 应 用 中 会 有 重复 的 代码 ， 甚 至 在 一 个 应 用 中 ， 由 
于 多 人 维护 加 上 平时 小 需求 的 快速 开发 ， 也 有 一 些 代 码 元 余 。 这 样 的 状 
况 影响 了 整体 的 研发 效率 ， 并 且 对 稳定 性 也 造成 了 一 定 的 影响 。 


在 这 样 的 情况 下 ， 我 们 想到 的 一 个 方法 ， 残 是 把 应 用 拆 小 ， 保 持 每 
个 应 用 都 不 那么 大 。 具 体 有 两 种 实现 方 采 。 


图 4-2 所 示 的 方 膝 与 我 们 当时 的 架构 是 一 样 的 ， 是 把 随 厦 时 间 推 移 
而 变 得 复杂 、 庞 大 的 应 用 拆 成 了 多 个 《图 示 是 从 4 个 拆 成 了 6 个 ) 。 这 样 
做 的 好 处 是 能 够 相对 较 快 地 完成 ， 但 是 仍然 存在 一 些 问 题 。 一 方面 是 数 











据 库 的 连接 数 的 压力 还 在 ， 男 一 方面 是 在 这 些 系 统 之 间 会 存在 一 些 重 复 
的 代码 。 例 如 ， 在 一 个 电子 商务 网 站 中 ， 可 能 会 把 商品 管理 、 交 易 管理 
等 功能 分 在 不 同 的 系统 中 ， 而 这 两 个 系统 都 会 调用 与 用 户 相 关 的 功能 ， 
那么 在 图 4-2 所 示 结 构 下 ， 这 两 个 系统 就 需要 将 用 户 功能 的 相关 代码 分 
别 写 一 这， 这 就 造成 代码 重复 了 。 当 然 也 有 使 用 共 至 库 的 方式 ， 但 是 应 
用 起 来 不 太 方便 。 


























图 4-2 ”根据 功能 拆 分 应 用 
接 下 来 看 为 外 一 个 方案 ， 如 图 4-3 所 示 。 


SE 


图 4-3 ”服务 化 方案 


这 就 是 所 谓 的 服务 化 方案 ， 我 们 在 原来 的 应 用 和 撒 层 的 数据 库 、 
存 系统 、 文 件 系统 等 系统 之 间 增 加 了 服务 层 。 是个 二， 
真正 实施 中 的 服务 可 能 是 多 层 的 ， 服 务 之 间 也 会 有 相互 的 访问 ， 这 是 
要 加 以 管理 的 ， 后 面 讲 服务 治理 时 会 提 到 。 


上 述 两 种 方案 笔者 都 实际 遇 到 过 。 在 最 初 的 阶段 一 般 会 采用 第 一 种 











方案 ， 因 为 第 一 种 方案 在 小 范围 实现 的 成 本 较 低 ， 并 且 整 体 上 也 非常 容 
易 把 控 ， 并 没有 引入 很 多 新 内 容 。 此 外 在 第 一 种 方案 中 ， 应 用 和 应 用 之 
间 很 少 直接 交互 ， 更 多 的 是 通过 URL 跳 转 。 而 第 二 种 方案 ， 就 是 所 谓 的 
服务 化 方案 ， 使 得 系统 看 起 来 更 立体 了 ， 应 用 之 间 有 了 直接 的 访问 。 而 
这 也 会 带 来 很 多 问题 ， 诸 如 围绕 应 用 和 应 用 之 间 访 问 等 问题 ， 这 些 问 题 
细 化 下 去 叉 包 含 了 很 多 的 方面 ， 我 们 会 在 后 面 一 一 道 来 。 


服务 化 的 方式 也 会 带 来 很 多 好 处 ， 首 先 从 结构 上 看 ， 系 统 架 构 更 为 
清晰 了 ， 比 之 前 更 立体 了 。 从 稳定 性 上 看 ， 一 些 散 落 在 多 个 应 用 系统 中 
的 代码 也 变 成 了 服务 ， 并 由 专门 的 团队 进行 统一 维护 ， 这 一 方面 可 以 提 
高 代码 质量 中 ， 另 一 方面 由 于 核心 的 相对 稳定 ， 修 改 和 发 布 次 数 会 减 
少 ， 这 也 会 提高 稳定 性 名 。 最 后 ， 更 加 底层 的 资源 统一 由 服务 层 管理 ， 
结构 更 加 清晰 ， 也 更 利于 提高 效率 。 


服务 化 的 方式 对 于 研发 也 会 产生 一 些 影响 。 以 前 的 研发 模式 是 由 几 
个 比较 大 的 团队 去 负责 几 个 很 大 的 应 用 ， 然 后 这 几 个 应 用 惑 构 成 了 整个 
网 站 的 应 用 。 而 随 着 服务 化 的 进行 ， 我 们 的 应 用 数量 会 有 飞速 增长 ， 加 
上 有 服务 框架 的 支持 ， 调 用 远程 服务 会 变 得 简单 ， 而 系统 内 部 的 依赖 关 
系 会 变 得 错综复杂 。 服 务 化 的 方式 会 让 多 个 规模 不 大 的 团队 专注 在 茶 个 
具体 的 服务 或 者 应 用 上 ， 以 这 种 方式 来 应 对 和 解决 问题 。 























4.2 服务 框架 的 设计 与 实现 


本 节 我 们 来 介绍 支持 服务 化 的 服务 框架 的 设计 与 实现 。 


4.2.1 ”应 用 从 集中 式 走 回 分 布 式 所 过 
到 的 问题 


要 把 单 层 Web 应 用 的 结构 改 为 多 层 的 、 有 服务 层 的 结构 时 ， 很 多 人 
不 会 直接 做 一 个 通用 的 服务 框 杂 ， 而 是 为 当前 要 用 的 服务 做 一 个 RPC 的 
功能 ， 为 服务 使 用 者 提供 相关 的 客户 端 。 事 实 上 ， 当 所 提供 服务 的 集群 
多 于 一 个 时 ， 通 用 的 服务 框 以 就 非常 重要 了 。 


在 没有 服务 化 之 前 ， 应 用 都 是 通过 本 地 调用 的 方式 来 使 用 其 他 组 件 
的 。 服 务 化 会 使 得 原来 的 一 些 本 地 调用 变 为 远程 调用 。 对 于 这 种 改变 ， 
研发 人 员 最 关心 的 是 提高 易 用 性 以 及 降低 性 能 损失 这 两 方面 。 








我 们 先 通 过 一 张 图 来 看 一 下 服务 框 染 要 解决 的 问题 ， 如 图 4-4 所 


服务 调用 


不 








图 4-4 ”服务 框架 要 解决 的 问题 


从 图 4-4 可 以 看 出 ， 将 原来 在 单机 的 单个 进程 中 的 一 个 方法 调用 分 
散 到 两 个 节点 上 要 经 过 好 几 个 步骤 。 


在 做 服务 框架 时 ， 我 们 需要 用 到 的 最 基础 的 知识 是 网 络 通信 相 关 的 
知识 ， 相 信 很 多 读者 在 学 习 编 程 时 都 对 网 络 通信 有 浓厚 的 兴趣 ， 会 答 试 
Socket 通 信 等 相关 的 技术 实现 鸟 。 这 些 是 我 们 自己 来 做 服务 框架 的 基 
础 ， 也 是 图 4-4 中 通信 部 分 的 实现 基础 。 


单机 单 进程 的 方法 (函数 ) 调用 其 实 就 只 需要 把 程序 计数 占 指 癌 相 
应 的 入 口 地 址 ， 而 在 多 机 之 间 ， 我 们 需要 对 调用 的 请 求 信息 进行 编码 ， 
然后 传 给 远程 的 节点 ， 解 码 后 再 进行 真正 的 调用 。 这 也 是 图 4-4 中 提 到 
的 编码 /解码 过 程 。 寻 址 路 由 是 用 来 让 调用 方 确 定 哪个 实例 被 调用 的 ， 
oh 
实现 功能 。 


4.2.2” 透 过 示例 看 服务 框架 原型 


细心 的 读者 会 发 现 图 4-4 并 不 完整 ， 它 只 是 体现 了 从 一 端 到 为 外 一 
端的 请 求 ， 没 有 包括 啊 应 的 处 理 ， 而 且 看 起 来 调用 并 和 服务 端 是 不 对 称 
的 。 其 实 ， 服 务 框架 应 该 是 既 包 含 调用 端 逻 辑 又 包含 服务 端 逻 辑 的 一 个 
实现 ， 也 就 是 说 虽然 我 们 在 每 次 的 请 求 中 是 分 了 调用 端 角 色 和 服务 端 角 
色 ， 但 是 从 应 用 来 看 都 是 可 以 提供 和 调用 服务 的 。 这 样 描述 可 能 有 点 抽 
象 ， 下 面 我 们 用 一 个 具体 的 例子 来 说 明 这 个 过 程 。 























4.2.2.1 单机 方式 


假设 我 们 需要 提供 一 个 计算 器 的 功能 。 按 照 单机 程序 的 做 法 ， 我 们 
可 以 实现 一 个 计算 器 的 类 ， 然 后 直接 使 用 ， 代 码 大 概 如 下 : 


public class Calculatort{ 
public int add(int a, int b){ 
return a + b; 


} 
public int minus(int a, int b)t{ 
return a - b; 


public class Calculatort{ 
public int add(int a, int b){ 
return a + b; 


public int minus(int a, int b)t{ 
return a - b; 
} 


3 
接 独 是 使 用 计算 器 的 代码 : 


public static void test1()t{ 
Calculator calculator = new Calculator(); 
System.out.println(calculator.add(1, 1)); 
} 


关于 计算 器 对 象 的 构建 方式 ， 我 们 在 这 里 是 直接 新 建 了 一 个 通过 
new 的 方式 ) ， 而 在 一 些 更 加 正式 的 系统 中 ， 更 多 的 是 采用 类 似 Spring 
IaC 的 方式 将 一 个 实例 注入 到 具体 使 用 的 地 方 。 具 体 的 代码 这 里 不 再 





4.2.2.2 ”实现 远程 服务 的 调用 客户 端 


我 们 接 下 来 想 看 的 吏 是 ， 如 宁 要 把 这 个 本 地 的 计算 器 的 方法 调用 变 
成 一 个 远程 服务 ， 应 该 怎么 办 ? 


在 开始 之 前 ， 我 们 先 做 一 个 简单 的 事情 ; 把 Calculator 的 接口 抽象 出 
来 ， 然 后 把 实现 独立 。 也 就 是 下 面 这 段 代 码 : 


public interface Calculatort{ 
int add(int a, int b); 


int minus(int a, int b); 


有 


public class CalculatorIimpl implements Calculatort{ 
public int add(int a, int b)t{ 

return a+b ， 
} 


public int minus(int a, int b)t{ 
return a-b; 


} 

接 下 来 我 们 从 调用 端 开始 看 。 

首先 ， 我 们 希望 调用 者 使 用 计算 器 服务 的 方式 与 目前 的 用 法 一 样 。 
那么 ， 我 们 需要 重新 实现 Calculator 这 个 接口 。 

public int add(int a, int b){ 


// 获 取 可 用 服务 地 址 列表 
List<String>1 = getAvailableServiceAddresses("Caluctor.ad 


// 确 定 要 调用 服务 的 目标 机 器 
String address = chooseTarget(1); 






































// 建 立 连 接 

Socket s = new Socket (address); 

// 请 求 的 序列 化 

byte[] request = genReqeust(a, b); 
// 发 送 请 求 

s.getOutputStream() .write(request); 
// 接 收 结果 


byte[] response = new byte[10240]; 
s.getIinputStream().read(response); 


// 解 析 结 果 


int result = getResult(response); 





return resuJ]t 


} 


为 了 说 明 问 题 ， 我 们 用 伪 代 码 〈( 可 能 连 伪 代 人 码 都 算 不 上 ) 来 说 明 关 
0 
条 实现 。 


// 获 取 可 用 服务 地 址 列表 

List<String>1 = getAvailableServiceAddresses("Calucto 
// 确 定 要 调用 服务 的 目标 机 器 

String address = chooseTarget(1); 


首先 根据 要 调用 的 服务 名 称 来 获取 提供 服务 的 机 器 的 地 址 列表 ， 并 
且 从 可 用 的 服务 地 址 列表 中 选择 一 个 要 调用 的 目标 机 器 。 


大 家 可 以 回忆 一 下 第 1 章 中 控制 器 的 部 分 ， 其 中 提 到 了 在 分 布 式 系 
统 中 的 几 种 控制 方式 ， 这 段 代 码 完 成 的 就 是 类 似 的 工作 。 如 果 我 们 采用 
的 是 在 请 求 发 起 方 和 服务 提供 方 中 间 有 LVS 或 硬件 负载 均衡 的 方案 ， 那 
么 getAvailableServiceAddresses 返 回 的 就 是 LVS 或 硬件 负载 均衡 的 地 址 和 
端口 ， 并 且 chooseTarget 其 实 就 会 直接 反馈 这 个 地 址 端口 号 。 


如 果 我 们 使 用 名 称 服务 的 方式 ， 那 么 在 
getAvailableServiceAddresses 中 返回 的 天 是 当前 可 用 服务 的 地 址 列表 。 
需要 注意 的 是 参数 “Calculator.add”， 我 们 就 是 用 它 的 值 来 定位 服务 的 ， 
也 就 是 用 它 来 告诉 名 称 服务 要 找 的 是 哪个 服务 。 一 般 来 说 ， 这 个 用 来 做 
key 的 服务 名 字 会 直接 采用 接口 的 全 名 ， 也 就 是 说 在 实践 中 更 多 的 是 采 
用 “org.vanadies.chapter4.Calculator" 来 作为 要 查找 的 服务 名 称 ， 有 具体 到 如 
何 对 服务 命名 、 服 务 的 粒度 如 何 ， 就 需要 读者 在 自己 的 实践 当中 来 确定 
了 。 笔 者 习惯 于 使 用 “完整 的 类 名 + 版 本 写 ” 作 为 定位 服务 的 key。 从 名 称 
服务 返回 可 用 的 服务 列表 后 ， 会 通过 chooseTarget 选 择 这 次 调用 的 具体 
目标 ， 也 就 是 在 这 个 过 程 中 完成 了 负载 均衡 的 工作 。 


在 第 1 章 讲 控制 器 时 ， 还 提 到 了 规则 服务 器 的 方式 ， 这 种 方式 和 名 
称 服 务 的 方式 很 类 似 ， 只 是 特 性 略 有 不 同 ， 一 般 规 则 服务 器 的 方式 更 多 
地 运用 在 有 状态 的 场景 。 像 数据 这 种 状态 要 求 很 高 的 场景 ， 或 者 缓存 这 
种 尽量 要 有 状态 的 场景 ， 都 会 用 到 规则 服务 器 的 方式 来 解决 寻 址 的 问 
题 。 在 无 状态 的 服务 场景 中 ， 则 不 太 用 规则 服务 器 的 方式 来 处 理 。 


上 面 提 到 了 三 种 控制 方式 ， 笔 者 在 实践 中 主要 是 用 第 二 种 方式 ， 也 
就 是 在 请 求 发 起 方 和 服务 提供 方 之 间 直 连 的 方式 ， 没 有 再 加 入 物理 设备 
〈 必 要 的 网 络 设备 除外 ) 。 在 这 种 方式 下 ， 原 来 在 LVS 或 者 人 硬件 负载 均 
衡 上 的 工作 被 分 挫 到 了 服务 框 染 和 名 称 服务 两 个 地 方 来 完成 。 关 于 名 称 
服务 ， 我 们 会 在 第 5 章 重 点 讲述 ， 这 里 姑且 先 把 它 当做 一 个 黑 盒 子 吧 。 


至 此 我 们 已 经 完成 了 对 寻 址 和 路 由 的 介绍 ， 接 下 来 的 事情 应 该 是 读 




































































者 比较 熟悉 的 了 一 一 我 们 需要 构造 请 求 的 数据 包 ， 并 进行 通信 。 


构造 请 求 数据 包 其 实 就 是 把 对 象 变 为 二 进 制 数据 ， 也 就 是 常 说 的 序 
列 化 (熟悉 COM 的 读者 应 该 知道 这 个 过 程 束 是 marshalling〉， 而 使 用 
Java 的 读者 都 知道 ，Java 本 里 的 序列 化 就 可 以 把 对 象 转 为 二 进 制 数 据 ， 
eid i 我 们 可 以 直接 使 用 Java 序 列 化 来 完成 编码 

工作 。 


接着 就 是 通信 本 里 。 我 们 可 以 通过 Socket 来 简单 地 做 一 个 实现 ， 把 
Java 序 列 化 以 后 的 数据 发 送 过 去 。 


这 样 我 们 就 完成 了 一 次 调用 的 有 发起。 请求 数 据 发 送 结 束 后 ， 需 要 等 
符 远 程 服务 的 执行 以 及 结果 的 返回 ， 收 到 结果 后 ， 我 们 可 以 对 数据 进行 
Java 反 序列 化 〈 假 设 我 们 采用 的 是 Java 序 列 化 ) ， 然 后 得 到 执行 的 结 
果 。 

















4.2.2.3 ”实现 服务 端 


接 下 来 ， 我 们 需要 大 概 看 一 下 在 服务 实现 问 应 该 怎么 做 。 


public class EventHandlert{ 
public static class Requestt{ 
public Socket socket; 
public String serviceName; 
public String serviceVersion; 
public String methodName; 
public Object[] args; 


} 


public static void eventHandler(){ 
while(true)t{ 
byte[| requestData = receiveRequest(); 
Request request = getRequest(requestData); 
Object service = getServiceByNameAndVersion(reque 
Object result = callService(service, request.meth 
byte[| data = genResult(result); 
request ,Socket .getOoutputStream( ) .write(data) ; 


} 
} 


上 面 的 代码 属于 伪 代 人 码 。 在 服务 端 ， 我 们 必然 会 有 一 个 真正 实现 计 
算 器 功能 的 类 ， 这 个 类 其 实 和 之 前 单机 单 进程 版 本 里 面 的 实现 是 一 样 
的 ， 这 里 就 不 列 出 代码 了 。 而 我 们 真正 关心 的 是 如 何 处 理 好 远程 过 来 的 
请 求 以 及 如 何 调用 这 个 具体 的 实现 类 (CalculatorImpl)。 


对 于 服务 端 ， 我 们 需要 在 启动 后 就 进行 监 昕 ， 上 面 的 代码 没有 列 出 
这 个 部 分 的 初始 化 过 程 。 我 们 还 是 先 看 重点 。 


重点 在 于 我 们 需要 持续 地 接收 请 求 并 进行 处 理 ， 而 且 对 于 收 到 的 数 
据 也 需要 一 个 反 序 列 化 的 过 程 以 得 到 对 象 本 身 。 而 从 Request 对 象 的 定 
义 中 可 以 看 到 我 们 最 关心 的 几 个 元 未， 包括 服务 的 名 称 、 服 务 的 版 本 
号 、 需 要 调用 的 方法 名 称 及 参数 ， 以 及 调用 的 连接 。 上 面 的 代码 以 
Socket 对 象 说 明 。 


当 我 们 拿 到 请 求 的 对 象 后 ， 需 要 在 本 地 定位 具体 提供 的 服务 ， 也 就 
是 上 面 代码 里 的 getServiceByNameAndVersion， 有 具体 实现 上 ， 我 们 会 有 
一 个 服务 注册 表 ， 是 根据 名 称 和 版 本 号 对 服务 实例 进行 的 管理 。 关 于 其 
中 的 对 应 关系 ， 我 们 一 般 是 在 启动 时 构建 初始 值 ， 并 且 提 供 运 行 时 的 修 
改 ， 可 以 说 是 动态 发 布 了 服务 。 


在 得 到 具体 的 服务 实例 之 后 ， 接 下 来 主要 束 是 进行 服务 调用 了 ， 这 
一 般 是 通过 反 冉 的 方式 来 实现 ， 即 得 到 服务 实例 具体 方法 的 执行 结果 
后 ， 把 需要 返回 给 调用 方 的 结果 序列 化 为 二 进 制 数据 ， 并 且 通 过 网 络 写 
回 给 请 求 及 送 站 。 

至 此 ， 我 们 看 到 了 一 次 服务 请 求 、 处 理 、 结 果 返 回 的 过 程 。 当 然 ， 
上 面 给 出 的 代码 主要 是 希望 读者 能 够 理解 这 个 过 程 本 里 ， 而 不 是 为 了 展 
示 一 个 真实 服务 框 染 的 代码 。 如 果 读 者 能 够 按照 上 文 给 出 的 思路 把 具体 
的 代码 完成 ， 那 么 可 以 说 一 个 目 己 的 服务 框架 就 算 搭 建 好 了 。 


4.2.3 ”服务 调用 闯 的 设计 与 实现 


接 下 来 ， 我 们 详细 看 一 下 服务 调用 端 《〈 也 称 为 客户 端 ) 的 具体 设计 























与 实现 。 先 来 整理 一 下 刚才 看 到 的 服务 请 求 过 程 中 服务 调用 的 工作 ， 如 
图 4-5 所 示 。 图 4-5 展 示 了 从 发 送 请 求 到 收 到 啊 应 的 过 程 中 ， 请 求 发 送 问 
所 经 过 的 主要 环节 。 接 下 来 我 们 对 每 个 环节 来 进行 具体 介绍 。 





得 到 结果 


返回 给 调用 方 


反 序 列 化 /协议 解析 








图 4-5 ”服务 调用 端 具体 工作 





4.2.3.1 ”确定 服务 框架 的 使 用 方式 





我 们 的 第 一 个 问题 是 如 何在 客户 端 引 入 和 使 用 服务 框架 。 


从 前 面 的 章节 我 们 看 到 ， 进 行 远程 服务 调用 时 ， 可 以 采用 中 间 放 置 
代理 服务 器 的 方式 ， 也 可 以 通过 正在 介绍 的 直 连 的 方式 。 要 进行 远程 调 
用 ， 束 要 求 在 调用 端 有 一 个 客户 端的 程序 来 完成 相关 工作 。 笔 者 在 刚 开 
始 进行 服务 化 时 ， 需 要 同时 把 两 个 重要 的 业务 变 成 远程 服务 ， 当 时 做 得 
比较 土 : 两 个 服务 都 有 目 己 的 客户 器， 并 且 采 用 的 通信 方式 、 协 议 、 实 
现 都 不 同一 一 这 在 当时 没有 什么 问题 〈 当 时 其 中 一 个 系统 是 在 做 通用 的 
方案 ， 不 过 由 于 两 个 系统 的 改造 同时 进行 ， 所 有 最 后 出 来 了 两 种 实 
现 ) ， 不 过 不 是 一 个 统一 实现 融 相 当 于 每 个 系统 都 要 目 己 实现 一 届 ， 这 
样 成 本 太 高 了 。 这 也 是 我 们 需要 一 个 服务 框架 的 通用 实现 的 原因 。 




















1. 从 代码 角度 看 如 何 使 用 服务 框架 


客户 端的 引入 或 者 说 应 用 程序 对 于 客户 端的 使 用 就 是 我 们 首先 需要 
解决 的 问题 。 大 多 数 使 用 Java 来 进行 开发 的 系统 都 会 用 Spring 来 作为 组 
件 的 容器 ， 开 发 人 员 也 都 熟悉 Spring 的 配置 ， 所 以 通过 Spring 的 方式 引 
入 是 一 个 和 常见 的 方式 。 而 作为 服务 框架 ， 在 请 求 肥 起 端 会 提供 通用 的 
Bean， 如 同 下 面 的 例子 。 


假设 我 们 有 一 个 计算 器 的 服务 ， 名 字 是 
org.vanadies.CalculatorImp1， 那 么 在 Spring 中 ， 我 们 通常 这 样 进行 配置 : 


<bean id = "calculator"class = "org.vanadies.CalculatorIimpl"> 
</bean> 


这 是 关于 一 个 Spring Bean 的 最 简单 的 配置 ， 那 么 通过 Spring 引 入 服 


务 框架 进行 远程 调用 的 配置 该 怎么 做 呢 ? 下面 给 出 一 个 参考 (实际 情况 
会 因 做 服务 框 娘 时 所 选择 的 实现 方式 而 不 同 ) : 


<bean id = "calculator"class = "org.vanadies.ServiceFramework 
<property name = "interfaceName"> 
<value>org.vanadies.Calculator</value> 
</property> 
<property name = "version"> 
<value>1.0.0</value> 
</property> 
<property name = "group"> 
<value>Test</value> 
</property> 
</bean> 


上 面 代码 给 出 了 一 个 简单 版 本 的 服务 框架 的 配置 ， 通 过 配置 可 以 看 
到 ， 我 们 实现 了 一 个 ConsumerBean， 它 是 一 个 通用 的 对 象 ， 是 完成 本 地 
和 远程 服务 的 桥梁 。 而 且 ， 因 为 Java 有 动态 代理 的 支持 ， 所 以 我 们 在 完 
成 远程 调用 时 ， 使 用 一 个 通用 的 对 象 就 可 以 解决 问题 了 ， 而 不 需要 像 很 
多 语言 那样 ， 需 要 通过 类 似 IDL (Interface Description Language， 接 口 
摘 述 语言 的 方式 定义 ， 然 后 生成 代理 存根 代码 ， 再 分 别 与 调用 端 和 被 
调用 六 一 起 编译 。 我 们 接着 看 一 下 配置 的 属性 ， 对 于 一 个 具体 的 服务 框 
染 的 实现 ， 从 落地 到 完善 的 过 程 中 会 有 很 多 控制 点 ， 这 些 控制 点 可 以 作 
为 属性 来 配置 ， 也 可 以 通过 一 些 方式 集中 管理 ， 这 是 后 话 。 我 们 先 看 三 
个 相对 基础 的 属性 。 














e interfaceName 


接口 名 称 ， 通 过 名 字 可 以 知道 这 个 属性 设置 的 就 是 接口 的 
名 字 。 我 们 知道 在 面 同 对 象 的 开发 中 都 是 通过 接口 (也 包括 对 
象 ) 来 调用 相应 的 方法 的 ， 那 么 ， 在 进行 远程 通信 时 
ConsumerBean 必 须知 道 被 调用 的 接口 是 哪 一 个 ， 然 后 才能 生成 
人 





e version 





版 本 写 。 设 置 了 接口 名 称 就 具备 了 可 以 进行 远程 调用 的 最 
基础 属性 ， 不 过 在 实际 的 场景 中 ， 接 口 是 存 在 变化 的 可 能 性 
的 ， 有 的 是 因为 实现 代码 本 身 重 构 的 原因 ， 也 有 的 是 因为 业务 
的 发 展 变化 需要 修改 接口 中 己 有 方法 的 参数 或 者 返回 值 ， 以 满 
足 新 的 要 求 。 如 果 直 接 这 样 变 化 ， 那 吏 要 求 所 有 使 用 的 地 方 一 
起 修改 ， 一 起 升级 ， 这 在 一 个 大 型 的 分 布 式 系统 〈 网 站 ) 中 代 
价 是 非常 蜗 的 。 解 决 这 个 问题 的 方式 有 两 种 ， 一 十 如 果 需 要 修 
改 方法 的 参数 或 返回 值 ， 我 们 就 新 增 一 个 方法 ， 始 终 保 持 己 有 
方法 不 变 ， 不 过 这 样 的 做 法 ， 会 在 过 小 期 间 《〈 新 旧 方 法 都 有 人 
用 时 〉 导致 代码 相对 及 肿 ， 并 且 新 方法 其 实 是 不 好 起 名 字 的 ; 
为 一 种 方案 束 是 通过 版 本 写 进 行 区 分 隔离 ， 我 们 这 里 的 版 本 号 
属性 就 是 用 来 解决 这 个 问题 的 。 





























e group 


分 组 。 在 这 里 讲 这 个 属性 可 能 稍微 有 点 靠 前 ， 不 过 后 面 还 
会 再 进行 较 详细 的 解释 。 在 这 里 讲 分 组 属性 的 好 处 是 ， 如 果 对 
同一 个 接口 的 远程 服务 有 很 多 机 器 ， 我 们 可 以 把 这 些 远 程 服务 
的 机 响 归 组 ， 然 后 调用 者 可 以 选择 不 同 的 分 组 来 调用 ， 这 样 就 
可 以 将 不 同调 用 者 对 于 同一 服务 的 调用 进行 隅 离 了 。 


前 面 列 出 的 这 三 个 属性 是 笔者 根据 目 己 做 服务 框架 的 经 验 选 出 来 的 
比较 基础 的 三 个 。 在 实际 中 ， 根 据 具 体 的 需求 ， 我 们 可 能 需要 控制 远程 
调用 的 超时 ， 可 能 需要 选择 不 同 的 调用 方式 〈 这 在 后 面 会 讲 到 ) ， 可 能 
需要 对 不 同方 法 进行 不 同 的 控制 等 。 











2. 运行 期 服务 框架 与 应 用 和 容器 的 关系 


通过 上 面 的 例子 我 们 可 以 看 到 ， 服 务 框架 的 接 入 也 就 涉及 了 比较 各 
规 的 Spring 的 方式 ， 当 然 ， 你 也 可 以 通过 代码 的 方式 来 实现 。 这 看 起 来 
很 简单 ， 不 过 在 实际 中 有 两 个 很 重要 的 问题 需要 解决 ， 一 是 服务 框架 目 
冉 的 部 车 方式 问题 ， 二 是 实现 自己 的 服务 框 染 所 依赖 的 一 些 外 部 jar 包 与 
应 用 自 吴 依赖 的 jar 包 之 间 的 冲突 问题 。 


先 来 看 第 一 个 问题 ， 服务 框架 自身 的 部 署 方式 问题 。 一 种 方案 是 把 
服务 框架 作为 应 用 的 一 个 依赖 包 并 与 应 用 一 起 打包 。 通 过 这 种 方式 ， 服 
务 框架 就 变 为 了 应 用 的 一 个 库 ， 并 随 应 用 局 动 。 存 在 的 问题 是 ， 如 果 要 
升级 服务 框架 ， 就 需要 更 新 应 用 本 里 ， 因 为 服务 框架 是 与 应 用 打包 放 在 
一 起 的 ， 并 且 服 务 框架 没有 办 法 接管 classloader， 也 束 不 能 做 一 些 隔 离 
以 及 包 的 实现 替换 工作 。 


另外 一 种 方案 是 把 服务 框架 作为 容器 的 一 部 分 ， 这 里 是 针对 Web 应 
用 来 说 的 ， 而 web 应 用 一 般 用 JBoss、Tomcat、Jetty 等 作为 容器 ， 我 们 就 
要 遵循 不 同 容器 所 文 持 的 方法 ， 把 服务 框架 作为 容器 的 一 部 分 。 例 如 ， 
针对 JBoss， 我 们 可 以 通过 MBean 实 现 服务 框 以 的 启动 ， 将 其 部 署 为 一 
个 sar 包 来 为 应 用 提供 服务 。 然 而 有 的 情况 下 应 用 不 需要 容器 (不 是 Web 
应 用 ， 或 者 不 使 用 现 有 容器 ，， 那 么 ， 服 务 框架 自 喘 就 需要 变 为 一 个 容 
器 来 提供 远程 调用 和 远程 服务 的 功能 。 


通过 图 4-6 至 图 4-8， 我 们 能 够 比较 好 地 看 到 服务 框 染 与 应 用 容器 及 
应 用 的 关系 。 图 4-6 所 示 是 服务 框架 作为 Web 应 用 的 一 个 依赖 包 的 情 
况 ; 图 4-7 所 示 是 服务 框架 作为 Web 容 器 的 扩展 而 存在 的 情况 ， 也 可 以 
看 到 它 与 Web 应 用 的 关系 ; 图 4-8 所 示 是 不 使 用 Web 容 锅 ， 把 服务 框架 作 
为 容 需 来 部 署 应 用 的 情况 。 
























































图 4-6 服务 框架 作为 Web 应 用 的 扩展 


Web 容 器 





图 4-7 服务 框架 是 Web 容 器 的 一 部 分 








图 4-8 ”服务 框架 本 身 作为 容器 


接着 我 们 来 看 一 下 Jar 包 冲突 的 问题 。 


使 用 Java 的 读者 都 知道 ， 通 过 Java 做 一 个 应 用 时 ， 一 般 都 会 用 到 多 
个 jar 包 ， 这 些 jar 包 可 能 是 别人 (第 三 方 ， 一 般 是 写 公 共 的 库 ) 提供 的 ， 
也 可 能 是 我 们 自己 做 的 ， 而 这 些 jar 包 本 身 可 能 又 会 用 到 (依赖 ) 另 一 些 
jar 包 。 那 么 ， 最 终 可 能 产生 这 样 的 情况 : 这 些 直接 、 间 接 依赖 的 jar 包 导 
致 应 用 里 面 同 一 个 jar 包 有 不 同 的 版 本 ， 例 如 打印 日 志 使 用 log4j， 可 能 就 
有 1.1.14 和 1.2.9 两 个 版 本 ， 这 样 就 会 产生 冲突 。 


ClassLoader 是 Java 中 一 项 非常 关键 的 技术 ， 它 的 结构 如 图 4-9 所 示 。 
我 们 看 到 用 户 自 定义 (User-Defined Class Loader) Class Loader 的 部 分 有 
多 个 ， 并 且 是 有 机 会 进行 隔离 的 ， 而 我 们 采用 的 也 是 类 似 的 方式 : 将 服 
务 框架 自身 用 的 类 与 应 用 用 到 的 类 都 控制 在 User-Defined Class Loader 级 
别 ， 这 样 就 实现 了 相互 则 的 隔离 。Web 容 器 对 于 多 个 Web 应 用 的 处 理 ， 

以 及 OSGi 对 于 不 同 Bundle 的 处 理 都 采用 了 类 似 的 方法 。 
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图 4-9 ClassLoader 结 构 


此 外 ， 我 们 在 实际 中 还 会 遇 到 需要 在 运行 时 统一 版 本 的 情况 ， 那 就 
需要 服务 框架 比 应 用 优先 启动 ， 并 且 把 一 些 需 要 统一 的 jar 包 放 到 User- 
Defined Class Loader 所 公用 的 “祖先 ?ClassLoader 中 。 


4.2.3.2 ”服务 调用 者 与 服务 提供 者 之 间 通 信 方 式 的 
选择 


到 这 里 ， 我 们 大 体 介 绍 了 服务 框 染 与 应 用 之 间 的 集成 和 关系 ， 以 及 
引入 服务 框架 的 方式 上 需要 注意 的 问题 ， 并 且 也 看 到 了 服务 框 以 的 使 用 
方式 。 应 该 说 使 用 起 来 还 是 非常 容易 的 ， 这 也 是 服务 框架 的 目标 之 一 ， 
即 尽 量 把 远程 服务 的 使 用 做 得 和 本 地 服务 类 似 ， 当 然 没 有 办 法 一 模 一 
样 ， 因 为 远程 服务 需要 一 些 额外 的 属性 配置 ， 此 外 ， 考 虑 到 网 络 及 远程 
服务 器 的 问题 ， 在 调用 方法 的 异常 处 理 上 也 有 所 不 同 。 这 些 都 是 很 细节 
的 问题 ， 惑 留 给 该 者 思考 或 在 具体 实现 的 过 程 中 去 应 对 了 。 











在 具体 的 调用 发 起 时 其 实 是 调用 了 ConsumerBean 为 具体 接口 产生 的 
一 个 动态 代理 对 象 。 访 动态 代理 对 象 被 调用 后 会 进行 如 同 服务 请 求 方 的 
(图 4-5 中 所 示 的 ) 处 理 ， 要 完成 寻 址 等 工作 。 


那么 ， 我 们 接 下 来 就 看 一 下 寻 址 路 由 相关 的 处 理 。 


我 们 使 用 服务 框架 是 为 了 把 本 地 对 象 之 间 的 方法 调用 变 为 远程 的 过 
程 调用 (RPC，Remote Procedure ” Call) ， 这 就 涉及 了 远程 通信 的 问 
题 。 相 信 很 多 学 习 计 算 机 的 读者 在 学 会 了 基础 的 代码 编写 后 ， 都 对 网 络 
通信 的 开发 很 感 兴趣 ， 笔 者 也 是 这 样 的 。 


1. 远程 通信 直到 的 问题 


图 4-10 所 示 的 问题 是 大 家 在 做 网 络 编程 时 需要 解决 的 第 一 个 问题 ， 
就 是 两 侣 机 器 之 间 怎 样 通信 的 问题 。 很 多 人 都 写 过 类 似 远 程 Echo 的 例子 
或 者 是 两 合 机 器 进行 文本 对 话 的 例子 ， 但 在 图 4-10 所 示 的 两 合 机 需 连 接 
的 情况 下 ， 一 般 都 是 写 死 在 程序 中 或 者 是 输入 了 一 个 IP 地 址 和 端口 号 ， 
这 就 是 最 初 的 路 由 寻 址 的 过 程 。 








服务 提供 者 

















图 4-10 ”调用 者 与 服务 提供 者 通信 问题 
而 在 实际 当中 ， 提 供 某 种 服务 的 机 器 一 定 是 多 台 的 ， 是 一 个 集群 ， 


We 
es 








如 何 解 诀 ? 


服务 提供 者 











图 4-11 调用 者 集群 与 服务 提供 者 集群 通信 问题 























2. 采用 透明 代理 与 调用 者 、 服 务 提供 者 直 连 的 解决 方案 


在 前 面 ， 我 们 提 到 了 有 两 种 方式 进行 远程 服务 调用 ， 第 一 种 是 通过 
中 间 的 代理 来 解决 ， 结 构 如 图 4-12 所 示 。 


调用 者 0 i 服务 提供 者 





人 服务 提供 者 
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图 4-12 采用 透明 代理 


这 和 第 1 章 介 绍 的 控制 器 的 结构 是 一 样 的 ， 它 也 是 控制 右 在 服务 杠 
染 中 的 一 个 应 用 场景 。 而 我 们 这 里 的 服务 框架 的 设计 采用 的 是 男 一 种 控 
制 方案 ， 如 图 4-13 所 示 。 














图 4-13 ”调用 者 与 服务 提供 者 直 连 


图 4-13 展 示 了 服务 框 染 在 系统 中 的 位 置 ， 可 以 看 到 集群 到 集群 间 的 
远程 调用 中 并 没有 在 调用 链 路 中 放置 一 个 物理 的 代理 机 器 ， 而 是 采用 了 
调用 者 和 提供 者 直接 建立 连接 的 方式 ， 并 且 引 入 了 一 个 服务 注册 查找 中 
心 的 服务 。 我 们 在 这 里 先 不 过 多 讨论 具体 通信 的 部 分 ， 和 暂且 把 服务 注册 
查找 中 心 当 成 一 个 黑 盒 子 ， 先 来 重点 看 一 下 寻 址 和 路 由 。 


通过 图 4-13 我 们 看 到 服务 注册 查找 中 心 并 不 处 在 调用 者 和 服务 提供 
者 之 间 ， 服 务 注册 得 找 中 心 对 于 调用 者 来 说 ， 只 是 提供 可 用 的 服务 提供 
者 的 列表 ， 这 有 扩 像 日 常生 活 中 类 似 114 的 但 写 服 务 。 不 过 出 于 效率 的 
考虑 ， 我 们 并 不 是 在 每 次 调用 远程 服务 前 都 通过 这 个 服务 注册 碍 找 中 心 
来 查找 可 用 地 址 ， 而 是 把 地 址 组 存在 调用 者 本 地 ， 当 有 变化 时 主动 从 服 
务 注 册 碍 找 中 心 发 起 通知 ， 千 诉 调用 者 可 用 的 服务 提供 者 列表 的 变化 。 


当 客 户 端 拿 到 可 用 的 服务 提供 者 的 地 址 列表 后 ， 如 何 为 当 次 的 调用 
进行 选择 就 是 路 由 要 解决 的 问题 了 。 我 们 在 这 里 首先 要 考虑 的 就 是 集群 
的 负载 均衡 。 具 体 到 负载 均衡 的 实现 上 ， 随 机 、 轮 询 、 权 重 是 比较 常见 
的 实现 方式 ， 其 中 权重 方式 一 般 古 指 动 态 权 重 的 方式 ， 可 以 根据 啊 应 时 

















间 等 参数 来 进行 计算 。 在 服务 提供 者 的 机 器 能 力 对 等 的 情况 下 ， 采 用 随 
机 和 轮 询 这 两 种 方式 比较 容易 实现 ; 在 被 调用 的 服务 集群 的 机 器 能 力 不 
对 等 的 情况 下 ， 使 用 权重 计算 的 方式 来 进行 路 由 比较 合适 。 关 于 有 具体 的 
负载 均衡 的 策略 ， 可 以 参考 硬件 负载 均衡 设备 以 及 LVS、HAProxy 等 答 
代 硬 件 负载 均衡 设备 的 系统 所 文 持 的 策略 ， 不 过 需要 注意 的 是 ， 因 为 服 
务 框架 设计 的 结构 不 同 ， 所 以 不 是 所 有 硬件 负载 均衡 文 持 的 策略 部 适用 
于 我 们 这 个 方案 。 








4.2.3.3 引入 基于 接口 、 方 法 、 参 数 的 路 由 








介绍 完 基 础 的 寻 址 和 路 由 ， 我 们 再 来 深入 研究 一 下 基于 接口 、 方 
法 、 参 数 的 路 由 。 在 实际 的 场景 中 ， 一 般 会 用 接口 作为 服务 的 粒度 ， 也 
就 是 说 一 个 服务 就 是 指 一 个 接口 的 远程 实现 ， 当 然 茶 个 接口 所 承载 的 职 
责 需 要 根据 具体 的 业务 和 系统 来 决定 。 一 般 情 况 下 ， 在 一 个 集群 中 会 提 
供 多 个 服务 ， 而 每 个 服务 义 有 多 个 方法 ， 因 此 除了 前 面 介 绍 的 基础 的 负 
载 均衡 策略 外 ， 我 们 还 有 更 加 细 粒 度 地 控制 服务 路 由 的 需求 。 


我 们 先 通过 图 4-14 来 看 一 下 有 具体 结构 。 


























图 4-14 调用 者 与 服务 提供 者 


我 们 看 到 两 组 调用 者 集群 “调用 者 1 和 调用 者 2) 都 依赖 于 服务 提供 
者 所 提供 的 服务 ， 这 个 服务 提供 者 有 两 个 服务 一 一 接口 A 和 接口 B， 
个 服务 又 分 别提 供 了 两 个 方法 。 从 功能 上 来 说， 这 个 结构 已 经 没有 什么 





问题 了 ， 我 们 下 面 看 一 个 实际 的 场景 。 


在 我 们 的 实现 中 ， 服 务 提供 者 在 执行 调用 者 的 请 求 时 ， 内 部 的 线程 
模型 是 一 个 线程 对 应 一 个 请 求 ， 而 总 的 线程 数量 有 一 个 限制 (一 般 采 用 
线程 池 来 管理 所 有 的 工作 线程 》。 当 系统 运行 时 ， 如 末 并 发 请 求 量 比较 
大 ， 可 能 所 有 工作 线程 已 经 全 部 在 工作 了 ， 如 果 这 时 又 有 新 的 请 求 进来 
就 需要 排队 ， 当 然 ， 这 些 都 是 非常 正常 的 逻辑 。 但 是 如 果 这 个 服务 提供 
者 的 某 个 方法 是 一 个 很 慢 的 方法 ， 会 出 现 什么 情况 呢 ? 


假设 图 4-14 中 接口 A 的 方法 1 是 一 个 比较 慢 的 方法 ( 即 执行 时 间 明 显 
长 于 其 他 方法 的 执行 时 间 ， 例 如 其 他 方法 的 执行 时 间 在 50ms 左 右 ， 而 这 
个 方法 需要 5 秒 左 右 ) ， 而 调用 者 对 这 两 个 接口 的 所 有 方法 调用 的 频率 
相差 不 多 ， 那 残 有 可 能 出 现 所 有 线程 都 被 这 个 接口 A 的 方法 1 所 占用 的 
情况 。 从 图 4-15 中 能 够 更 清楚 地 看 到 这 个 过 程 。 


在 图 4-15 中 ，IA 表 示 接 口 A， 隔 表示 接口 B，m1l 表 示 方 法 1，m2 表 
示 方 法 2， 为 了 能 够 让 读者 看 得 更 清楚 ， 我 们 给 每 次 请 求 加 了 一 个 编 
号 ， 编 号 是 针对 同一 个 接口 的 同一 个 方法 的 ， 例 如 IA.m1_1 表 示 在 这 个 
服务 提供 者 机 器 上 IA 接 口 的 m1 方法 的 第 一 次 调用 。 











IA.m1_1;IA.m2_1;IB.m1_1;1B.m2_1;1A.m1_2;IA.m2_2;1B.m1_2;1B.m2_2;……. 





























图 4-15 ”服务 的 方法 被 调用 的 具体 场景 


假设 服务 提供 者 的 系统 上 有 5 个 工作 线程 ， 并 且 到 这 个 服务 提供 者 
机 器 上 的 请 求 是 按照 图 4-15 所 示 的 顺序 进来 的 《就 是 按照 


IA.m1 -IA.m2 -IB.m1 -IB.m2 的 顺序 ) ， 从 图 中 我 们 可 以 很 直观 地 看 
出 来 ， 因 为 IA.m1 方 法 的 执行 时 间 非 常 长 ， 所 以 我 们 的 线程 很 快 就 都 陷 
入 了 执行 IA.m1l 方 法 的 状态 ， 之 后 再 进来 的 请 求 就 都 需要 排队 等 待 ， 而 
且 等 待 的 时 间 是 非常 长 的 。 该 怎么 办 呢 ? 


从 图 4-15 中 可 以 看 出 来 ， 之 所 以 等 待 是 因为 我 们 的 线程 不 够 多 了 ， 
那么 我 们 可 以 增加 线程 数 ， 不 过 单机 可 以 设置 的 线程 数 总 是 有 限 的 ， 因 
此 可 以 考虑 增加 机 器 数 ， 这 样 可 以 减少 分 到 每 个 机 器 上 的 请 求 数 。 这 种 
思路 就 是 增加 可 执行 的 线程 总 数 来 保证 在 实际 运行 的 过 程 中 总 是 有 可 用 
线程 提供 服务 ， 但 是 这 种 思路 不 太 经 济 也 不 太 可 控 。 实 际 中 计算 需要 的 
线程 忌 数 是 很 困难 的 事情 ， 从 系统 可 用 性 和 经 济 性 的 角度 考虑 的 话 ， 控 
制 这 些 慢 的 方法 对 正常 情况 的 影响 是 比较 合理 的 思路 。 第 一 种 思路 是 增 
加 资源 保证 系统 的 能 力 是 超出 需要 的 ， 第 二 种 思路 是 隔离 这 些 资源 ， 从 
而 使 得 快慢 不 同 、 重 要 级 别 不 同 的 方法 之 间 互 不 影 啊 。 


从 客户 端的 角度 来 说 ， 控 制 同 一 个 集群 中 不 同 服务 的 路 由 并 进行 请 
求 的 隔离 是 一 种 可 行 方案 。 也 惑 是 说 ， 虽 然 集群 中 每 台 机 器 部 普 的 代码 
征 一样 的 ， 提 供 的 服务 也 是 一 样 的 ， 但 是 通过 路 由 的 策略 ， 我 们 让 其 中 
对 于 某 些 服务 的 请 求 到 一 部 分 机 器 ， 让 另 一 些 服务 的 请 求 到 另 一 部 分 机 
器 ， 则 看 起 来 是 图 4-16 所 示 的 结构 。 
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图 4-16 ”基于 接口 的 请 求 路 由 


在 图 4-16 中 ， 我 们 采用 的 方案 十 通过 客户 端的 路 由 把 调用 服务 A 的 
请 求 送 到 图 中 右上 方 的 集群 ， 把 调用 服务 BB 的 请 求 送 到 图 中 右 下 方 的 集 
群 。 而 这 两 个 集群 的 代码 其 实 是 完全 一 样 的， 是 客户 端的 路 由 导致 了 请 
求 的 分 流 。 在 具体 实现 上 ， 我 们 一 般 采 用 的 方式 是 把 路 由 规则 进行 集中 
管理 《后面 的 章节 会 介绍 规则 集中 管理 的 服务 ) ， 在 具体 调用 者 端的 服 
务 框架 上 获取 规则 后 进行 路 由 的 处 理 ， 有 具体 来 说 是 根据 服务 定位 提供 服 
务 的 那个 集群 的 地 址 ， 然 后 与 接口 路 由 规则 中 的 地 址 一 起 取 交 集 ， 得 到 
0 
进行 调用 。 


讲 到 这 里 ， 读 者 会 发 现 ， 基 于 接口 的 路 由 并 没有 解决 接口 A 的 方法 
1 太 慢 所 种 来 的 问题 ， 如 果 按 照 上 面 例子 的 假设 ， 基 于 接口 路 由 保证 了 
接口 B 的 方法 1 和 方法 2 的 调用 不 会 受到 接口 A 的 方法 1 的 影响 ， 而 接口 A 
的 方法 2 还 是 会 受到 接口 A 的 方法 1 的 影响 。 要 解决 这 个 问题 ， 我 们 就 需 
要 把 路 由 的 规则 做 得 更 加 细致 一 点 ， 可 以 基于 接口 的 具体 方法 来 进行 路 
由 。 该 方式 的 原理 与 基于 接口 路 由 的 原理 是 一 样 的 ， 只 是 在 通过 接口 定 
位 到 服务 地 址 列表 后 ， 根 据 接 口 加 方法 名 从 规则 中 得 到 一 个 服务 地 址 列 
表 ， 再 和 刚才 的 地 址 列表 取 交 集 。 文 持 方 法 的 路 由 就 可 以 解决 这 个 例子 




















中 的 问题 了 。 


治 独 这 个 思路 继续 思考 ， 既 然 可 以 基于 接口 、 方 法 进行 路 由 ， 那 么 
还 可 以 基于 参数 进行 路 由 。 基 于 参数 进行 路 由 的 实现 方式 和 上 面 的 方法 
类 似 ， 而 且 代 码 并 不 难 ， 但 在 具体 应 用 中 用 得 较 少 ， 因 为 一 般 到 基于 方 
法 的 路 由 束 够 用 了 。 需 要 对 一 些 特定 参数 进行 特殊 处 理 例 如 针对 不 同 
用 户 的 特别 处 理 等 ) 的 情况 才 会 使 用 基于 参数 的 路 由 。 








4.2.3.4 ”多 机 房 场景 





每 个 机 房 都 有 目 己 的 容量 上 限 ， 如 有 果 网 站 的 规模 非常 大 ， 那 就 需要 
多 个 机 房 了 。 机 房 之 间 的 距离 和 分 工 决定 了 我 们 应 该 采用 什么 样 的 架构 
和 和 货 略 ， 在 这 一 小 节 中 ， 我 们 主要 讲 距 离 比 较 近 的 同城 机 房 的 情况 〈 远 
程 的 异地 机 房 情 况 非 常 复 洒 ， 由 于 篇 幅 原 因 就 不 在 此 介绍 了 ) 。 


我 们 回忆 一 下 4.2.3.2 节 中 的 一 张 结构 图 ， 如 图 4-17 所 示 。 

















图 4-17 调用 者 与 服务 提供 者 直 连 


图 4-17 中 只 表述 了 调用 者 、 服 务 提供 者 和 服务 注册 查找 中 心 之 间 的 
关系 ， 没 有 显示 机 房 的 观念 。 如 果 我 们 在 同城 距离 不 太 远 的 两 个 机 房 中 
部 效应 用 和 服务 ， 会 是 什么 样 的 结构 呢 ? 如 图 4-18 所 示 。 











图 4-18” 双 机 房 示 例 


我 们 先 不 考虑 服务 注册 查找 中 心 的 集群 化 处 理 ， 先 来 重点 看 一 下 调 
用 者 和 服务 提供 者 在 多 机 房 的 情况 。 到 现在 为 止 ， 如 果 不 做 任何 处 理 ， 
服务 注册 查找 中 心 会 把 服务 提供 者 1 的 所 有 机 器 看 做 是 一 个 集群 ， 尽 管 
它们 分 布 在 两 个 机 房 。 这 样 ， 分 布 在 两 个 机 房 的 调用 者 1 就 会 对 等 地 看 
待 分 布 在 不 同 机 房 的 服务 提供 者 1 的 机 器 。 同 城 机 房 之 间 一 般 都 采用 光 
纤 直 接连 接 ， 带 宽 足够 大 ， 延 迟 也 可 以 接受 ， 但 是 ， 如 果 能 够 避免 跨 机 
房 调用 ， 就 能 提升 系统 稳定 性 ， 把 机 房间 的 带宽 用 于 必要 的 场景 ， 将 会 
是 一 个 更 好 的 实现 。 


有 两 种 方案 可 以 实现 这 个 想法 ， 一 是 在 服务 注册 查找 中 心 做 一 些 工 
作 ， 通 过 它 来 对 别 不 同 机 房 的 调用 者 集群 ， 给 它们 不 同 服务 提供 者 的 地 
址 。 男 一 种 方式 是 这 里 要 详细 介绍 的 ， 即 通过 路 由 来 完成 ， 大 概 思 路 
是 ， 服 务 注册 但 找 中 心 给 不 同 机 房 的 调用 者 相同 的 服务 提供 者 列表 ， 我 
们 在 服务 框架 内 部 进行 地 址 过 滤 ， 过 滤 的 原则 (如 何 识别 机 房 ) 一 般 是 
基于 接口 等 路 由 规则 进行 集中 配置 管理 。 在 具体 实践 中 ， 一 方面 需要 考 
虚 两 个 甚至 多 个 机 房 的 部 著 能 力 是 否 对 等 ， 也 就 是 说 通过 路 由 使 服务 部 
走 本 地 的 话 ， 负 载 是 否 均衡 。 此 外 还 有 一 个 异常 的 情况 需要 考虑 ， 即 如 
果 茶 个 机 房 的 服务 提供 者 大 面积 不 可 用 ， 而 另外 机 房 的 服务 提供 者 是 正 
常 运营 并 且 有 余 量 提供 服务 ， 那 么 应 该 如 何 让 服务 提供 者 大 面积 不 可 用 
的 机 房 的 调用 者 调用 远程 的 服务 呢 ， 这 是 需要 面 对 和 解决 的 问题 。 


在 实际 中 ， 每 个 机 房 的 网 段 是 不 同 的 ， 这 可 以 帮助 我 们 区 分 不 同 的 























机 房 。 在 多 机 房 中 还 有 一 个 可 能 遇 到 的 问题 : 未 必 每 个 机 房 都 是 对 称 的 
〈 指 既 有 服务 调用 者 又 有 相应 的 服务 提供 者 ) ， 尤 其 在 机 房 很 多 时 ， 这 
个 问题 会 更 加 明显 。 这 时 ， 我 们 可 以 考虑 采用 虚拟 机 房 的 概念 ， 也 就 是 
不 以 物理 机 房 为 单位 来 做 路 由 ， 而 是 把 物理 上 的 多 个 机 房 看 做 一 个 逻辑 
机 房 来 处 理 路 由 规则 ， 当 然 ， 也 有 可 能 是 把 一 个 物理 机 房 拆 成 多 个 逻辑 
机 房 ， 具 体 需 要 根据 业务 和 应 用 的 特点 来 做 出 处 理 。 











4.2.3.5 ”服务 调用 端的 流 控 处 理 





在 具体 工程 实践 中 会 有 很 多 异常 的 情况 ， 因 此 在 处 理 完 正常 功能 
后 ， 还 有 很 多 为 了 应 对 异 第 和 可 运 维 而 需要 做 的 事情 。 流 量 控制 (人 简称 
流 控 ) 保证 系统 的 稳定 性 ， 我 们 这 里 说 的 流 控 是 加 载 到 调用 者 的 控制 功 
能 ， 是 为 了 控制 到 服务 提供 者 的 请 求 的 流量 。 

一 般 来 说， 我 们 有 两 种 方式 的 控制 ， 一 种 是 0-1 开 关 ， 也 就 是 说 完 
全 打开 不 进行 流 控 ; 为 一 种 是 设 定 一 个 固定 的 值 ， 表 示 每 秒 可 以 进行 的 
请 求 次 数 ， 超 过 这 个 请 求 数 的 话 就 拒绝 对 远程 的 请 求 了 。 那 些 被 流量 控 
制 拒绝 的 请 求 ， 可 以 直接 返回 给 调用 者 ， 也 可 以 进行 排队 。 

那么 我 们 基于 什么 维度 来 进行 控制 呢 ? 一 般 来 说 会 从 下 面 两 个 维度 


no 














。 根据 服务 端 目 喘 的 接口 、 方 法 做 控制 ， 也 残 是 针对 不 同 的 接口 、 方 
法 设置 不 同 的 国 值 ， 这 是 为 了 使 服务 端的 不 同 接口 、 方 法 之 间 的 负 
载 不 相互 影响 。 

。 根据 来 源 做 控制 ， 也 就 是 对 于 同样 的 接口 、 方 法 ， 根 据 不 同 来 源 设 
置 不 同 的 限制 ， 这 一 般 用 在 比较 基础 的 服务 上 ， 也 就 是 在 多 个 集群 
使 用 同样 的 服务 时 ， 根 据 请 求 来 源 的 不 同 级 别 等 进行 不 同 的 流 控 处 
1 





4.2.3.6” 厅 节 列 化 与 反 序列 化 处 理 


学 完了 路 由 和 流 控 就 意味 看 我 们 可 以 找到 要 调用 的 目标 机 器 了 。 我 


们 接着 看 一 下 协议 适 配 和 序列 化 的 问题 ， 也 就 是 说 我 们 要 把 调用 远程 服 
务 的 对 象 、 参 数 等 变 为 服务 提供 者 可 以 理解 、 传 输 的 数据 了 。 


先 来 看 看 序列 化 和 反 序 列 化 。 简 单 地 说 ， 序 列 化 就 是 把 内 存 对 象 变 
为 二 进 制 数据 的 过 程 ， 而 反 序 列 化 就 是 把 二 进 制 数据 变 为 内 存 中 可 用 对 
象 的 过 程 。 服 务 框 杂 要 把 本 地 进程 及 部 的 方法 调用 变 为 远程 的 方法 调 
用 ， 首 先 需 要 把 调用 所 需 的 信息 从 调用 端的 内 存 对 象 变 为 二 进 制 数据 ， 
然后 通过 网 络 传 到 远程 的 服务 提供 闹 ， 再 在 服务 提供 端 反 厅 列 化 数据 ， 
得 到 调用 的 参数 后 进行 相关 调用 。 


常见 的 序列 化 和 反 序列 化 的 方式 很 多 ， 对 于 Java 而 言 ，Java 本 里 就 
提供 了 序列 化 和 反 序列 化 的 方式 ， 并 且 使 用 起 来 非常 简单 。 这 里 有 几 扣 
再 要 注意 ， 一 是 Java 序 列 化 或 反 序 列 化 时 目 身 的 性 能 问题 以 及 路 语言 的 
问题 。 如 采 在 整个 分 布 式 系 统 中 的 调用 者 或 者 服务 提供 者 要 使 用 Java 以 
外 的 语言 来 实现 ， 那 么 序列 化 和 反 序列 化 的 万 式 选择 上 践 要 文 持 跨 语 
: ， 序 列 化 和 反 序 列 化 的 性 能 开销 ， 以 及 不 同方 式 的 性 能 比较 也 











E 第 三 ， 还 需要 注意 序列 化 后 的 长 度 。 也 就 是 说 我 
们 需要 在 易 用 性 、 路 语言、 性能、 序列 化 后 数据 长 度 等 方面 综合 进行 考 
量 。 


我 们 从 两 个 方面 来 看 协议 的 部 分 ， 一 个 是 用 于 通信 的 数据 报 文 的 目 
定义 协议 ， 力 一 个 是 远程 过 程 调 用 本 里 的 协议 。 下 面 来 看 一 个 具体 的 例 
子 。 


还 是 以 之 前 计算 器 的 例子 为 例 ， 我 们 可 以 选择 通过 HTTP 协 议 来 完 
成 通信 过 程 的 处 理 ， 那 么 HTTP 协 议 束 是 我 们 选择 的 通信 协议 ， 而 在 服 
务 调用 中 的 具体 协议 ， 需 要 目 己 来 定义 ， 可 以 选择 XML 作为 序列 化 的 
方式 。 我 们 可 以 这 样 定 义 请 求 和 啊 应 的 格式 。 








"\ 主 < 、 
请 求 格 式 : 
<request> 
<service name = "xxx"method = "yyy"> 
<params> 
<param name = "zzz> 
</param> 
</params> 


</service> 


</reduest> 


啊 应 格式 : 


<response> 
<result> 


</result> 
</request> 


上 面 的 定义 中 选择 XML 作 为 了 序列 化 方式 我 们 还 有 其 他 选择 ， 
例如 json 或 者 一 些 二 进 制 的 表示 方式 ) 。 通 过 XML 定义 的 格式 是 在 服务 
层面 的 协议 ， 而 在 通信 和 层面， 我 们 可 以 采用 HTTP 协 议 ， 当 然 也 可 以 通 
过 目 定 义 的 协议 来 完成 。 


这 个 例子 是 想 给 读者 展示 在 整个 远程 过 程 调用 中 的 通信 协议 、 服 务 
调用 协议 及 序列 化 方式 。 在 具体 实践 中 ， 通 信 协 议和 服务 调用 协议 的 扩 
展 性 、 回 后 兼容 性 是 需要 重点 考虑 的 。 因 为 在 实践 中 服务 会 越 来 越 多 ， 
调用 者 也 会 越 来 越 多 ， 服 务 框 架 在 升级 时 无 法 保证 在 同一 时 刻 把 所 有 使 
用 到 的 地 方 都 进行 升级 ， 所 以 ， 协 议 上 的 扩展 性 、 同 后 兼容 性 显得 非常 
重要 。 在 具体 制定 通信 协议 时 ， 版 本 号 、 可 扩展 属性 及 发 起 方 文 持 能 力 
的 介绍 很 重要 。 我 们 很 难保 证 我 们 协议 的 扩展 性 可 以 文 持 未 来 所 有 的 情 
况 ， 所 以 显 式 地 标明 版 本 是 很 必要 的 做 法 ， 这 样 为 一 端 可 以 根据 具体 版 
本 号 来 进行 相应 的 处 理 。 可 扩展 的 属性 有 些 像 键 值 对 的 定义 ， 它 能 方便 
我 们 对 协议 的 扩展 ， 避 人 免 一 增加 属性 就 要 修改 版 本 的 情况 。 表 明 自 身 服 
务 能 力 的 介绍 是 为 了 方便 接收 端 根据 请 求 端 的 能 力 来 进行 相应 的 处 理 ， 
例如 对 于 服务 调用 的 具体 返回 结果 的 数据 来 说 ， 如 果 调 用 端 文 持 压 着 ， 
那么 就 可 以 返回 被 压缩 后 的 数据 ， 否 则 ， 服 务 端 就 一 定 不 能 对 结果 进行 
压缩 ， 这 个 特点 有 点 类 似 HTTP 协 议 里 的 Accept-Encoding。 



































4.2.3.7 ”网 络 通 信 实 现 选 择 





介绍 到 这 里 ， 一 个 在 调用 端的 服务 请 求 已 经 到 了 网 络 通信 这 一 层面 
了 。 我 们 在 第 1 章 的 网 络 通信 部 分 具体 介绍 过 相关 的 基础 概念 ， 这 里 介 
绍 具体 服务 框架 中 用 到 的 一 些 技术 点 ， 并 从 服务 框架 的 角度 来 看 一 下 通 


语文 持 。 





在 第 1 章 中 我 们 讲 过 的 通信 方式 有 BIO、NIO、AIO 的 模式 ， 其 中 
BIO 采用 的 方式 是 阻塞 IO 的 方式 ， 一 个 连接 需要 消耗 掉 一 个 线程 ， 这 种 
方式 的 开发 比较 简单 ， 但 是 消耗 比较 大 。 采 用 NIO 是 一 个 比较 好 的 选 
择 ， 是 直接 采用 Java 的 NIO 还 是 采用 第 三 方 封装 好 的 组 件 ， 这 需要 实现 
者 自己 来 选择 。 


我 们 采用 的 是 NIO 的 方式 ， 所 以 客户 问 和 服务 器 端的 连接 是 可 以 复 
用 的 ， 而 不 是 每 一 个 请 求 独占 一 个 连接 。BIO 与 NIO 的 对 比如 下 。 


图 4-19 展 示 的 是 使 用 BIO 的 方式 ， 在 调用 端 有 三 个 请 求 进 来 ， 分 别 
由 三 个 线程 处 理 ， 每 个 线程 都 使 用 独立 的 连接 ， 在 远 端 的 提供 者 端 有 对 
应 的 三 个 线程 来 执行 相应 的 服务 。 这 种 方式 会 使 得 调用 者 和 提供 者 之 间 
建立 大 量 的 连接 ， 而 且 是 阻塞 的 方式 ， 连 接 并 不 能 得 到 充分 利用 。 











图 4-19 BIO 方式 


我 们 希望 在 调用 者 和 提供 者 之 间 通 过 一 个 连接 来 进行 多 个 并 发 请 求 
的 通信 工作 。 这 就 好 比 公 路 ， 每 条 公路 可 以 同时 供 多 辆 车 使 用 ， 而 不 是 
一 辆 。 通 过 NIO 方 式 可 以 实现 这 一 愿望 《如 图 4-20 所 示 ) 。 我 们 需要 引 
入 IO 线程 来 专门 处 理 通 信 功 能 ， 因 为 使 用 的 是 非 阻塞 方式 的 IO， 而 需要 
对 外 提供 的 是 类 似 阻 塞 的 同步 远程 请 求 的 方式 ， 因 此 需要 完成 肛 步 转 同 
RN 
行 流量 保护 。 





图 4-20 NIO 方 式 


图 4-21 是 通过 同步 方式 进行 远程 调用 时 使 用 NIO 的 示意 图 。 可 以 看 








到 这 个 方式 明显 比 BIO 方 式 复 杂 。 


请 求 线程 





定时 任务 
SOCKET 
连接 


图 4-21 调用 端 采 用 NIO 的 示意 图 


从 图 4-21 中 可 以 看 到 我 们 增加 了 IO 线程 、 数 据 队 列 、 通 信 对 象 队列 
和 和 定时 任务 4 个 部 分 。IO 线 程 专门 负责 和 SOCKET 连 接 打交道 ， 进 行 数 


据 的 收发 。 需 要 发 送 的 数据 都 会 进入 数据 队列 ， 这 样 ， 每 个 请 求 线程 就 
不 需要 直接 和 SOCKET 连 接 打交道 了 ， 这 也 为 复 用 SOCKET 连 接 提 供 了 
可 能 。 数 据 队 列 的 长 度 是 需要 关注 的 方面 ， 因 为 它 可 能 会 造成 内 存 的 洲 
出 。 通 信 对 象 队 列 是 保存 了 多 个 线程 使 用 的 通信 对 象 ， 这 个 通信 对 象 主 
要 是 为 了 阻塞 请 求 线 程 ， 请 求 线程 把 数据 放 入 数据 队列 中 后 会 生成 一 个 
通信 对 象 ， 它 会 进入 通信 对 象 队 列 并 且 在 通信 对 象 队列 上 等 待 。 通 信 对 
象 用 于 唤醒 请 求 线程 。 如 果 在 远程 调用 超时 前 有 执行 结果 返回 ， 那 么 IO 
线程 就 会 通知 通信 对 象 ， 通 信 对 象 则 会 结束 请 求 线程 的 等 待 ， 并 且 把 结 
果 传 给 请 求 线程 ， 以 进行 后 续 处 理 。 此 外 ， 我 们 也 有 定时 任务 负责 检查 
通信 对 象 队列 中 的 哪些 通信 对 象 已 经 超时 了 ， 然 后 这 些 通信 对 象 会 通知 
请 求 线程 已 经 超时 的 事实 。 





4.2.3.8 ” 文 持 多 种 异步 服务 调用 方式 


使 用 NIO 能 够 完成 连接 复 用 以 及 对 调用 者 的 同步 调用 的 文 持 ， 接 下 
来 我 们 再 来 详细 介绍 一 下 调用 方式 。 除 了 同步 调用 外 ， 我 们 还 需要 支持 
如 下 的 几 种 调用 方式 。 

第 一 种 方式 是 Oneway。Oneway 是 一 种 只 管 发 送 请 求 而 不 关心 结果 


的 方式 。 在 NIO 方 式 下 使 用 Oneway 的 话 ， 会 比 前 面 的 同步 调用 简单 很 
多 ， 如 图 4-22 所 示 。 





请 求 线程 







SOCKET 
连接 
图 4-22 ”Oneway 方 式 


可 以 看 到 Oneway 方 式 非常 简单 ， 只 需要 把 要 发 送 的 数据 放 入 数据 
队列 ， 然 后 就 可 以 继续 处 理 后 续 的 任务 了 ; 而 IO 线程 也 只 需要 从 数据 队 
列 中 读 到 数据 ， 然 后 通过 SOCKET 连 接送 出 去 就 好 了 。Oneway 方 式 不 
关心 对 方 是 否 收 到 了 数据 ， 也 不 关心 对 方 收 到 数据 后 做 什么 或 有 什么 返 
回 。 这 就 基本 等 价 于 一 个 不 保证 可 靠 送 达 的 通知 。 





第 二 种 方式 是 Callback。 这 种 方式 下 请 求 方 发 送 请 求 后 会 继续 执行 
目 己 的 操作 ， 等 对 方 有 啊 应 时 进行 一 个 回调 ， 如 图 4-23 所 示 。 












SOCKET 
连接 


图 4-23 Callback 方 式 


从 图 4-23 可 以 看 到 ， 请 求 者 设置 了 回调 对 象 ， 把 数据 写 入 数据 队列 
后 就 继续 自己 的 处 理 了 。 后 面 的 IO 线程 的 通信 方式 与 之 前 看 到 的 相同 ， 
只 是 当 收 到 服务 提供 者 的 返回 后 ，IO 线 程 会 通知 回调 对 象 ， 这 时 就 执行 
回调 的 方法 了 。 而 如 果 需 要 文 持 超时 ， 同 样 可 以 通过 定时 任务 的 方式 来 
完成 ， 如 果 已 经 超时 却 没有 返回 ， 那 么 同样 需要 执行 回调 对 象 的 方法 ， 
只 是 要 告知 是 已 经 超时 没有 结果 。 这 里 需要 注意 的 一 点 是 ， 如 采 我 们 不 
再 引入 新 的 线程 ， 那 么 回调 的 执行 要 么 是 在 IO 线程 中 ， 要 么 是 在 定时 任 
务 的 线程 中 了 ， 我 们 还 是 建议 用 新 的 线程 来 执行 回调 ， 而 不 要 因为 回调 
本 号 的 代码 执行 时 间 久 等 问题 影响 了 IO 线程 或 者 定时 任务 。 


第 三 种 方式 是 Future。 笔 者 认为 在 Java 中 Future 是 一 个 非常 便利 的 方 
式 。 我 们 还 是 先 看 一 下 图 4-24。 
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图 4-24 ”Future 方 式 


使 用 Future 方 式 ， 同 样 是 先 把 Future 放 入 队列 ， 然 后 把 数据 放 入 队 
列 ， 接 着 就 在 线程 中 进行 处 理 ， 等 到 请 求 线程 的 其 他 工作 处 理 结束 后 ， 
就 通过 Future 来 获取 通信 结果 并 直接 控制 超时 。IO 线 程 仍然 是 从 数据 队 
列 中 得 到 数据 后 再 进行 通信 ， 得 到 结果 后 会 把 它 传 给 Future。 


第 四 种 方式 是 可 靠 异 步 。 可 靠 异 步 要 保证 异步 请 求 能 够 在 远程 被 执 
行 ， 一 般 是 通过 消 思 中间 件 来 完成 这 个 保证 的 。 


到 这 里 我 们 介绍 了 四 种 第 见 的 异步 远程 通信 方式 ，Oneway 是 一 个 
单 回 的 通知 ;Callback 则 是 回调 ， 是 一 种 很 被 动 的 方式 ，Callback 的 执行 
不 是 在 原 请 求 线 程 中 ， 而 Future 是 一 种 能 够 主动 控制 超时 、 获 取 结 果 的 
方式 ， 并 且 它 的 执行 仍然 在 原 请 求 线程 中 ， 可 靠 异 步 方式 能 保证 异步 请 
求 在 远程 被 执行 。 























4.2.3.9 ”使 用 Future 方 式 对 远程 服务 调用 的 优化 
学 习 完 同步 调用 、 异 步调 用 的 多 种 实现 ， 我 们 就 已 经 掌握 很 完善 的 
通信 方式 了 。 这 里 还 需要 同 大 家 介绍 一 个 实战 中 的 注意 点 。 


在 实际 的 工作 中 ， 会 出 现在 一 个 请 求 中 调用 多 个 远程 服务 的 情况 ， 
如 图 4-25 所 示 。 
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图 4-25 ”调用 多 个 服务 的 处 理 场 景 


在 图 4-25 中 ， 一 个 请 求 处 理 需 要 调用 三 个 远程 服务 (在 实际 中 一 般 
会 远 多 于 三 个 ) ， 各 个 服务 的 耗 时 已 经 在 图 中 标 出 来 了 。 男 外 在 请 求 者 
目 己 的 线程 中 还 有 20ms 的 数据 处 理 时 间 。 那 么 ， 要 完成 上 图 中 的 一 次 请 
求 需要 100ms〈 实 际 消耗 的 时 间 也 取决 于 总 线程 数 与 CPU 的 核 数 ， 
100ms 中 的 大 部 分 时 间 是 在 等 得 远程 结果 ，20ms 的 数据 处 理 是 消耗 纯 


CPU 时 间 的 ) 。 我 们 可 以 思考 一 下 华 多 庚 的 《统筹 方法 》， 试 着 改变 一 
下 这 个 线程 的 处 理 方式 。 我 们 先 把 图 4-25 中 的 场景 更 详细 得 表示 出 来 ， 


如 图 4-26 所 示 。 
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图 4-26 调用 多 个 服务 的 处 理 场景 的 详细 图 示 
我 们 思考 能 否 变 成 图 4-27 所 示 的 样子 ， 如 下 。 


请 求 处 理 





数据 处 理 
‘20ms) 
图 4-27 多 个 服务 的 并 行 调用 


也 就 是 说 ， 我 们 仍然 是 按照 调用 顺序 把 服务 的 请 求 发 送 给 服务 A、 
服务 B 和 服务 C， 与 前 面 不 同 的 是 ， 请 求 发 过 去 后 并 不 直接 等 待 执行 结 
果 ， 而 是 直到 服务 C 的 请 求 也 发 出 去 后 再 来 统一 等 待 服务 A、 服 务 B 和 服 
务 C 的 执行 结果 ， 然 后 再 接着 进行 本 地 的 数据 处 理 。 如 果 改 造成 这 样 的 
话 ， 整 个 线程 的 处 理 时 间 就 会 变 为 40ms+20ms 王 60ms， 比 原来 的 100ms 
减少 40ms。 当 然 ， 这 里 有 一 个 前 提 ， 即 所 调用 服务 A、 服 务 B、 服 务 C 
之 则 并 没有 相互 的 依赖 关系 ， 举 例 来 说 就 是 调用 服务 B 的 时 候 ， 并 不 需 
要 调用 服务 A 所 返回 的 信息 。 如 果 各 服务 之 间 存 在 依赖 ， 那 就 只 能 等 到 
前 一 个 服务 返回 后 才能 进行 后 续 的 服务 调用 。 我 们 之 所 以 能 够 方便 地 使 
用 并 行 调用 优化 ， 就 是 因为 有 Future 方 式 的 支持 。 并 且 因 为 底层 使 用 的 
是 NIO 方 式 ， 所 以 并 行 方式 并 没有 产生 额外 的 开销 ， 反 而 能 使 总 体 消耗 
时 间 缩 得， 在 同样 的 线程 数 配 置 、 同 样 硬件 的 情况 下 ， 会 使 得 单位 时 间 
人 
并 行 度 有 关 ) 。 


接 下 来 ， 请 求 通过 网 络 到 了 服务 端 ， 并 且 在 服务 端 执行 有 了 返回 ， 











又 通过 网 络 模块 得 到 返回 结果 ， 这 时 融 需 要 进行 通信 协议 解析 、 数 据 反 
序列 化 的 工作 了 。 需 要 注意 的 是 反 序 列 化 工作 使 用 什么 线程 的 问题 ， 一 
般 是 使 用 IO 线程 ， 不 过 这 样 会 影响 IO 线程 的 工作 效率 ; 另 一 种 方式 是 把 
Se 
请 求 线 程 。 


4.2.4 ”服务 提供 六 的 设计 与 实现 


我 们 通过 4.2.3 市 把 请 求 调用 病 的 过 程 详细 讲述 了 一 过 ， 接 下 来 我 们 
一 起 看 看 服务 提供 端的 情况 ， 如 图 4-28 所 示 。 
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图 4-28 ”服务 提供 端 具体 工作 




















4.2.4.1 如 何 暴 露 远 程 服 务 
服务 端的 工作 有 两 部 分 ， 一 是 对 本 地 服务 的 注册 管理 ， 二 是 根据 进 
来 的 请 求 定位 服务 并 执行 。 我 们 先 来 看 看 服务 注册 的 部 分 。 


我 们 从 如 何 配 置 远 程 服务 开始 。 还 是 用 之 前 的 Calculator 举 例 ， 完 整 
的 代码 就 不 重复 列 出 了 ， 下 面 是 传统 的 配置 Spring 的 一 个 bean 的 方式 : 


<bean id = "calculator"class = "org.vanadies.CalculatorIimpl"> 
</bean> 


之 前 我 们 看 到 过 在 请 求 调用 端的 配置 ， 这 里 来 看 看 服务 提供 并 的 配 


<bean id = "calculator"class = "org.vanadies.ServiceFramework 
<property name = "interfaceName"> 
<value>org.vanadies.calculator</value> 
</property> 
<property name = "target"> 
<ref bean = "calculatorIimpl/> 
</property> 
<property name = "version"> 
<value>1.0.0</value> 
</property> 
<property name = "group"> 
<value>Test</value> 
</property> 
</bean> 
<bean id = "calculatorIimpl"class = "org.vanadies.CalculatorInm 
</bean> 


上 面 配置 的 写法 是 否 似曾相识 ?与 之 前 在 请 求 调用 端 看 到 的 配置 非 
党 类 似 和 呼应 ， 二 者 的 不 同 之 处 有 两 点 。 首 先 ， 在 服务 提供 问 使 用 的 是 
ProviderBean 对 象 ， 而 在 调用 请 求 端 使 用 的 是 ConsumerBean 对 象 ， 我 们 
之 前 看 到 了 ConsumerBean 的 大 概 职 能 和 做 法 ， 后 面 会 看 到 ProviderBean 
的 职责 。 此 外 ， 在 服务 提供 端 增 加 了 一 个 属性 target， 这 个 属性 是 要 表 
明 具 体 执行 服务 的 SpringBean， 因 为 ProviderBean 本 喘 并 不 执行 具体 服 
务 ， 只 是 起 到 调用 端 代 码 存 根 的 作用 ， 所 以 我 们 需要 知道 真正 执行 服务 
的 SpringBean 是 哪个 。 其 他 的 例如 interfaceName、version、group 等 属 
性 ， 与 请 求 调 用 端的 同名 属性 的 含义 相同 。 


现在 来 看 看 ProviderBean 的 职能 。 从 前 面 的 介绍 我 们 知道 ， 服 务 需 
要 注册 到 服务 注册 查找 中 心 后 才能 被 服务 调用 者 发 现 ， 所 以 ， 
ProviderBean 需 要 将 自己 所 代表 的 服务 注册 到 服务 注册 查找 中 心 。 田 
外 ， 当 请 求 调用 端 定位 到 提供 服务 的 机 器 并 且 请 求 被 送 到 提供 服务 的 机 
器 上 后 ， 在 本 机 也 需要 有 一 个 服务 与 具体 对 象 的 对 应 关系 ， 
ProviderBean 也 需要 在 本 地 注册 服务 和 对 应 服务 实例 的 关系 。 








4.2.4.2 ”服务 端 对 请 求 处 理 的 流程 


前 面 我 们 看 到 了 在 服务 调用 端 服 务 框 桨 与 容器 、 应 用 的 关系 ， 在 服 
务 提供 端 也 是 一 样 的 情况 。 无 论 服 务 框架 以 什么 方式 与 应 用 集成 在 一 
起 ， 在 局 动 时 都 需要 监听 服务 端口 。 当 服务 注册 都 已 完成 ， 而 且 监 听 端 
口 也 准备 好 时 ， 融 只 需 等 痢 服务 调用 端的 请 求 进来 了 。 


服务 端的 通信 部 分 同样 也 不 能 用 BIO 来 实现 ， 而 要 采用 NIO 的 方式 
来 实现 。 接 收 到 请 求 后 ， 通 过 协议 解析 及 反 序 列 化 ， 我 们 可 以 得 到 请 求 
发 送 端 调用 服务 方法 的 具体 信息 ， 根 据 其 中 的 服务 名 称 、 版 本 号 找到 本 
有 
吕 以 了 。 

之 前 在 请 求 调 用 端 重 点 介绍 过 路 由 的 做 法 ， 其 中 提 到 了 引入 服务 、 
方法 、 参 数 的 路 由 ， 并 且 通 过 这 样 的 方式 解除 了 调用 慢 服 务 对 于 其 他 服 
务 的 影响 。 在 服务 提供 端 ， 我 们 有 另外 一 种 方法 来 解决 这 个 问题 。 


先 看 一 下 图 4-29 所 示 的 流程 ， 如 下 。 











图 4-29 ”请 求 处 理 流程 





这 一 流程 会 涉及 两 个 具体 问题 ， 第 一 ， 在 网 络 通信 层 ，IO 线 程 会 进 
行 通信 的 处 理 〈 一 般 是 多 个 IO 线程 )》， 在 收 到 完整 的 数据 包 、 完 成 协议 
解析 得 到 序列 化 后 的 请 求 数据 时 ， 反 序列 化 在 什么 线程 进行 是 需要 考虑 
的 ; 第 二 ， 得 到 反 序 列 化 后 的 信息 并 定位 服务 后 ， 调 用 服务 在 什么 线程 
进行 也 是 需要 考虑 的 。 一 般 来 说 ， 调 用 服务 一 定 是 在 工作 线程 〈 非 IO 线 











程 ) 进行 的 ， 而 有 反 序列 化 的 工作 则 取决 于 具体 实现 ， 在 IO 线 程 或 工作 线 
程 中 进行 的 方式 都 有 。 


4.2.4.3 ”执行 不 同 服务 的 线程 池 隔 离 


服务 提供 端的 工作 线程 是 一 个 线程 池 ， 路 由 到 本 地 的 服务 请 求 会 被 
放 入 这 个 线程 池 执 行 。 如 果 客 户 端 没有 通过 接口 或 方法 进行 路 由 ， 我 们 
就 可 以 在 服务 提供 病 进 行 控制 ， 也 就 是 进行 服务 端 线 程 池 隔离 。 具 体 的 
做 法 其 实 十 分 类 似 于 请 求 调 用 方 根据 接口 、 方 法 、 参 数 进行 的 路 由 。 在 
服务 提供 端 ， 工 作 线 程 池 不 是 一 个 ， 而 是 多 个 ， 当 定位 到 服务 后 ， 我 们 
根据 服务 名 称 、 方 法 、 参 数 来 确定 具体 执行 服务 调用 的 线程 池 是 哪个 。 
这 样 ， 不 同 线程 池 之 间 束 是 隔离 的 ， 不 会 出 现 争 抢 线程 资源 的 情况 。 这 
et 








图 4-30 “将 执行 不 同 服 务 的 线程 池 隔 离 
4.2.4.4 ”服务 提供 端的 流 控 处 理 


将 执行 服务 的 线程 池 隔 离 会 带 来 服务 闫 稳定 性 的 提升 ， 而 流 控 同 样 
是 保证 服务 端 稳定 性 的 重要 方式 。 


在 服务 提供 者 看 来 ， 不 同 来 源 的 服务 调用 者 、0-1 的 开关 以 及 限制 
具体 数值 的 QPS 的 方式 都 需要 实现 。 并 且 在 服务 提供 者 这 里 ， 某 个 服务 
或 者 方法 可 以 对 不 同 服务 调用 者 进行 不 同 的 对 每。 这 样 的 做 法 就 是 对 不 
同 的 服务 调用 者 进行 分 级 ， 确 保 优 先 级 高 的 服务 调用 者 被 优先 提供 服 
务 。 这 也 是 保证 稳定 性 的 策略 。 


整个 服务 框架 的 功能 可 以 分 为 服务 调用 者 和 服务 提供 者 两 方面 ， 此 


外 像 序列 化 、 协 议 、 通 信 等 是 公用 的 功能 。 在 具体 实现 上 ， 是 把 这 些 功 
能 都 放 在 一 起 形成 一 个 完整 的 服务 框架 ， 而 不 是 分 为 服务 调用 者 框 及 和 
服务 提供 者 框架 ， 因 为 其 个 服务 调用 者 的 服务 提供 者 ， 可 能 是 另 一 个 服 
务 提供 者 的 服务 调用 者 ， 它 们 是 相对 的 。 


整个 服务 框 染 作 为 一 个 产品 ， 可 以 让 集中 在 单机 内 部 的 调用 变 为 远 
程 的 服务 化 。 在 具体 应 用 的 使 用 场景 中 ， 一 个 完整 的 服务 框架 可 能 需要 
被 改变 一 些 行 为 ， 例 如 有 负载 均衡 的 部 分 ， 默 认 是 随机 选择 服务 地 址 ， 在 
有 些 场景 下 束 需 要 用 权重 。 因 此 ， 服 务 框架 必须 做 到 模块 化 且 可 配置 ; 
此 外 ， 一 些 特殊 的 场景 需要 使 用 者 来 具体 扩展 服务 框架 的 原 有 功能 。 这 
就 要 求 服务 框架 被 很 好 地 模块 化 ， 且 模块 可 蔡 换 ， 并 留 有 一 定 的 扩展 点 
来 扩展 原 有 功能 。 


4.2.5 ”服务 升级 


前 面 小 节 介 绍 的 内 容 都 是 服务 框架 非常 必要 的 基础 内 容 。 一 旦 开始 
使 用 服务 框架 ， 就 意味 着 有 非常 多 的 服务 落地 ， 也 意味 着 必须 要 做 服务 
的 升级 。 对 于 服务 的 升级 ， 会 遇 到 两 种 情况 。 第 一 种 情况 是 接口 不 变 ， 
只 是 代码 本 身 进行 完善 。 这 样 的 情况 处 理 起 来 比较 简单 ， 因 为 提供 给 使 
用 者 的 接口 、 方 法 都 没有 变 ， 只 是 内 部 的 服务 实现 有 变化 。 这 种 情况 
下 ， 采 用 灰 度 发 布 的 方式 验证 然后 全 部 发 布 就 可 以 了 。 第 二 种 情况 是 需 
要 修改 原 有 的 接口 ， 这 又 分 为 以 下 两 种 情况 。 

一 是 在 接口 中 增加 方法 ， 这 个 情况 比较 简单 ， 直 接 增加 方法 就 行 
了 。 而 且 在 这 样 的 情况 下 ， 需 要 使 用 新 方法 的 调用 者 束 使 用 新 方法 ， 原 
来 的 调用 者 继续 使 用 原来 的 方法 即 可 。 


二 是 要 对 接口 的 茶 些 方法 修改 调用 的 参数 列表 。 这 种 情况 相对 复杂 
一 些 。 我 们 有 几 种 方式 来 应 对 : 























。 对 使 用 原来 方法 的 代码 都 进行 修改 ， 然 后 和 服务 器 一 起 发 布 。 这 从 
理论 上 说 是 个 办 法 ， 但 是 不 太 可 行 ， 因 为 这 要 求 我 们 同时 发 布 多 个 
系统 ， 而 且 一 些 系统 可 能 并 不 会 从 调整 参数 后 的 方法 那里 受益 。 

。 通过 版 本 写 来 解决 。 这 是 比较 常用 的 方式 ， 使 用 老 方 法 的 系统 继续 











和 


。 在 设计 方法 上 考虑 参数 的 扩展 性 。 这 是 一 个 可 行 的 方式 ， 但 是 不 太 
好 ， 因 为 参数 列表 可 扩展 一 般 吏 意味 独 是 采用 类 似 Map 的 方式 来 传 
递 参数 ， 这 样 不 直观 ， 并 且 对 参数 的 校 验 会 比较 复杂 。 


4.3 ”实战 中 的 优化 


有 了 服务 框 如 ， 集 中 陈 系统 就 会 很 方便 地 转变 为 分 布 式 系统 。 但 是 


有 下 面 儿 个 问题 需要 注意 。 








1. 服务 的 拆 分 


要 拆 分 的 服务 是 需要 为 多 方 提供 公共 功能 的 ， 对 于 那些 比较 专用 的 
实现 ， 碍 出 来 它们 是 独立 部 普 在 远程 机 器 上 来 提供 服务 的 ， 这 不 仅 没 必 
要 ， 还 会 增加 系统 的 复杂 性 。 








2. 服务 的 粒度 


这 是 一 个 很 难 量化 回答 的 问题 ， 只 能 说 需要 根据 业务 的 实际 情况 来 
划分 服务 。 


3. 优雅 和 实用 的 平衡 


服务 化 的 架构 看 起 来 比较 优雅 ， 可 毕 竞 多 一 次 调用 就 比 之 前 多 走 了 
一 次 网 络 ， 一 些 功 能 直接 在 服务 调用 者 的 机 器 上 实现 会 更 加 合适 、 经 
济 。 例 如 我 们 看 下 面 的 一 个 例子 ， 如 图 4-31 所 示 。 








服务 调用 者 


服务 提供 者 

















图 4-31 服务 提供 者 完成 与 缓存 、 数 据 库 的 交互 


服务 提供 者 使 用 数据 库 进 行 数 据 的 存储 ， 使 用 缓存 来 缓解 数据 库 的 
压力 。 服 务 提供 者 对 外 提供 数据 的 读 写 服务 ， 当 然 ， 里 面 还 包含 了 一 定 
的 业务 逻辑 。 服 务 调用 者 通过 服务 提供 者 提供 的 读 写 服务 进行 数据 库 的 
访问 。 


这 个 结构 看 起 来 没什么 问题 ， 也 比较 优雅 。 但 是 深入 分 析 一 下 就 会 
发 现 ， 如 果 服 务 调用 者 读 取 数据 的 频率 非 第 高 的 话 ， 让 服务 调用 者 直接 
读 取 绥 存 会 更 合适 。 也 就 是 说 ， 我 们 需要 做 一 个 客户 端 ， 其 中 包含 了 服 
务 提供 者 所 提供 服务 的 所 有 接口 ， 并 且 有 一 定 的 代码 逻辑 。 这 个 逻辑 束 
征 把 读 取 缓存 的 逻辑 直接 放 到 服务 调用 者 那里 来 执行 ， 如 采 绥 存 读 取 成 
功 就 结束 ， 人 否则 就 到 服务 提供 者 那里 去 进行 该 数据 库 、 更 新 缓存 的 操 
作 。 其 他 写 操 作 则 还 是 直接 由 服务 提供 者 来 处 理 ， 如 图 4-32 所 示 。 





服务 调用 者 
服务 提供 者 









图 4-32 ”服务 调用 者 直接 读 缓存 


这 样 的 结构 看 起 来 没有 图 4-31 中 的 结构 优雅 ， 但 是 这 是 一 个 比较 实 
用 的 方案 。 大 部 分 对 数据 的 请 求 直 接 走 一 次 缓存 就 可 以 了 ， 只 有 少 部 分 
0 
) 洋人 位。 














4. 分 布 式 环境 中 的 请 求 合 并 


这 个 问题 和 前 一 个 问题 类 似 ， 都 是 与 优化 有 关 的 问题 。 我 们 知道 ， 
服务 调用 惑 是 为 了 完成 数据 的 读 、 写 和 计算 。 而 在 大 型 的 分 布 式 系统 
中 ， 我 们 能 人 否 合 并 相关 的 读 、 写 、 计 算 任 务 ， 这 是 需要 认真 思考 的 问 
题 ， 因 为 对 于 热点 数据 的 处 理 ， 如 有 果 可 以 进行 一 些 任 务 的 合并 处 理 ， 惑 
会 明显 降低 整个 系统 的 负载 。 我 们 先 看 一 个 单机 中 的 例子 。 在 单机 多 线 
程 的 应 用 中 可 能 会 有 一 些 操 作 比 较 消耗 系统 资源 ， 如 果 能 够 进行 一 些 合 
并 的 话 ， 残 会 提升 处 理 效率 ,我 们 看 一 个 具体 的 例子 ， 如 图 4-33 所 示 。 








图 4-33 ”多 线程 重复 计算 


假设 要 为 单机 写 一 个 根据 请 求 去 读 取 数 据 并 计算 生成 报表 的 应 用 ， 
最 简单 的 方式 是 把 逻辑 写 好 ， 然 后 做 成 线程 安全 的 。 在 执行 过 程 中 ， 我 
们 需要 从 远程 读 取 大 量 数据 ， 然 后 进行 复杂 的 统计 计算 ， 最 后 生成 报 
表 。 我 们 可 以 增加 缓存 来 减少 数据 读 取 和 计算 的 工作 量 ， 例 如 同样 参数 
的 报表 ， 如 果 已 经 有 请 求 计算 过 ， 那 么 之 后 的 请 求 直 接 用 结果 就 行 了 。 
缓存 的 有 效 时间 根 据 业 务 的 特性 来 决定 。 这 是 一 种 优化 方法 ， 再 来 看 另 
一 个 思路 ， 如 图 4-34 所 示 。 














线程 1 


参数 解析 
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其 他 线程 在 
计算 














图 4-34 引入 合并 请 求 后 的 线程 处 理 流程 














图 4-34 展 示 的 线程 执行 逻辑 为 ， 解 析 完 参数 后 ， 检 查 是 否 有 其 他 线 
程 在 计算 了 ， 如 果 没 有 ， 则 进行 计算 ; 如 果 已 经 有 线程 在 计算 相同 的 数 
据 ， 就 等 竺 其 他 线程 的 计算 结果 。 具 体 的 实现 上 可 以 依赖 Future 方 式 。 





但 是 把 这 个 思路 移植 到 分 布 式 的 环境 中 时 ， 会 有 新 的 问题 要 解决 ， 
如 图 4-35 所 示 。 





图 4-35 ”分 布 式 环境 下 请 求 合并 的 问题 








相对 于 单机 的 多 线程 ， 分 布 式 环境 会 涉及 多 个 市 点 。 在 单机 中 判断 
征 否 有 同样 任务 在 执行 是 很 简单 的 ， 而 在 多 机 环境 中 ， 则 需要 由 独立 于 
服务 调用 者 、 服 务 提供 者 之 外 的 节点 来 完成 相关 工作 ， 也 就 是 需要 分 布 
式 的 锁 服 务 来 控制 。 但 是 这 是 需要 进行 权衡 的 ， 因 为 在 分 布 式 系统 中 ， 
如 果 每 个 请 求 都 要 走 一 次 分 布 式 的 锁 服务 来 进行 控制 ， 就 会 有 额外 的 开 
销 。 夯 一 个 思路 是 ， 在 服务 调用 端 不 是 把 请 求 随机 分 发 给 服务 提供 者 ， 
而 是 根据 一 定 的 规则 把 同样 的 请 求 肥 送 到 同一 个 服务 提供 者 上 ， 然 后 在 
服务 提供 者 的 机 器 上 做 单机 控制 ， 这 样 通过 路 由 东 略 的 选择 ， 可 以 不 引 
入 分 布 式 锁 服务 ， 减 少 了 复杂 性 。 此 外 ， 对 于 比较 消耗 系统 资源 的 操 
作 ， 不 论 是 使 用 分 布 式 锁 服 务 ， 还 是 采用 路 由 的 方式 把 请 求 送 到 特定 机 
船 ， 在 服务 调用 者 上 都 可 以 进行 单机 多 线程 的 控制 。 有 其 体 采 用 何 种 方 
式 ， 需 要 根据 具体 场景 来 决定 ， 而 且 需 要 数据 的 文 持 来 做 出 最 后 的 决 
十 。 




















4.4 ”为 服务 化 护航 的 服务 治理 


前 面 儿 节 介绍 了 服务 框 染 相关 的 设计 和 实战 中 的 优化 ， 我 们 接 大 介 
绍 一 下 服务 治理 。 服 务 治理 是 在 系统 采用 服务 框架 后 ， 为 服务 化 保 萄 护 
航 的 功能 集合 。 


从 集中 式 应 用 走向 了 分 布 式 系统 后 ， 整 个 系统 的 结构 和 依赖 会 比 之 
前 复杂 很 多 ， 而 服务 框 杂 是 串 起 整个 系统 的 一 个 重要 通路 。 我 们 将 会 有 
很 多 的 服务 提供 者 、 服 务 调用 者 以 及 大 量 的 服务 ， 因 此 ， 对 这 些 服务 的 
治理 是 一 个 很 重要 的 话题 。 我 们 重点 看 看 服务 治理 应 该 完成 什么 样 的 工 
作 ， 至 于 具体 的 实现 方式 则 会 因 不 同 实现 者 而 不 同 。 

我 们 可 以 将 服务 治理 分 为 管理 服务 和 得 看 服务 这 两 个 方面 ， 也 就 相 
当 于 数据 的 写 和 读 : 管理 需要 我 们 去 控制 、 操 作 整 个 分 布 式 系统 中 的 服 
务 ， 而 查看 则 是 看 运行 时 的 状态 或 者 一 些 具体 信息 、 历 史 数 据 等 。 


我 们 首先 看 一 下 服务 全 看 具体 包括 哪些 内 容 。 




















。 服务 信息 : 服务 最 基本 的 信息 。 
。 服务 编码 ， 即 数字 化 的 服务 编码 
o 文 持 编 码 的 注册 
根据 编码 定位 服务 信息 
。 服务 质量 : 根据 和 被 调用 服务 的 出 错 率 、 啊 应 时 间 等 数据 对 服务 质量 
进行 的 评 佑 。 
。 最 好 、 最 差 的 服务 排行 
。 各 个 服务 的 质量 趋势 
。 各 种 三 询 条 件 的 支持 
。 服务 容量 : 根据 所 提供 服务 的 总 能 力 以 及 当前 所 使 用 容量 进行 的 评 
佑 ， 其 中 能 力 是 指 对 于 请 求 数量 方面 的 支撑 情况 。 
。 服务 容量 与 当前 水 位 的 展示 
。 历史 趋势 图 
o 根据 水 位 的 高 低 排序 
。 各 种 三 询 条 件 的 支持 











服务 依赖 : 根据 服务 被 调用 以 及 服务 调用 其 他 服务 的 情况 ， 给 出 服 
务 与 其 上 下 游 服务 的 依赖 关系 ， 里 面 除了 服务 间 定 性 的 依赖 关系 
外 ， 还 有 定量 的 数据 信息 。 
。 依赖 服务 展示 
o 被 依赖 展示 
。 依赖 变化 
服务 分 布 : 提供 同样 服务 的 机 器 的 具体 分 布 情况 ， 主 要 是 看 跨 机 房 
的 分 布 情况 。 
。 服务 在 不 同 机 房 分 布 
。 服务 在 不 同 机 柜 分 布 
o 分 布 不 均衡 服务 列表 
服务 统计 : 服务 运行 时 信息 的 统计 。 
调用 次 数 统 计 和 排名 
出 错 次 数 统 计 和 排名 
出 错 率 统计 和 排名 
啊 应 时 间 统 计 和 排名 
响应 时 间 趋 势 
服务 元 数据 : 服务 基本 信息 的 查看 。 
o 服务 的 方法 和 参数 
ee 提供 根据 各 种 条 件 来 检索 服务 进而 查看 服务 的 各 种 信息 
9 功能。 
。 服务 的 应 用 负责 人 、 测 试 负 贡 人 
服务 所 属 的 应 用 名 称 
服务 发 布 时 间 
服务 提供 者 的 地 址 列表 
服务 容量 
服务 质量 
服务 调用 次 数 
服务 依赖 
服务 版 本 及 归 组 信息 等 
服务 报表 : 主要 提供 非 实 时 服务 的 各 种 统计 信息 的 报表 ， 包 括 不 同 
时 间 段 的 对 比 以 及 分 时 统计 的 信息 。 
服务 监视 : 提供 对 于 服务 运行 时 关键 数据 的 采集 、 规 则 处 理 和 告 
警 。 注 意 这 里 是 服务 监视 而 非 监控 ， 主 要 是 完成 对 于 服务 运行 数据 
的 收集 和 处 理 ， 但 不 提供 控制 ， 通 过 监视 发 现 问 题 后 再 在 相应 的 服 
务 管理 中 进行 管理 工作 。 服 务 监 视 只 提供 用 于 决 俩 的 数据 基础 ， 并 
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且 根 据 已 定义 的 规则 进行 告警 。 
接 看 我 们 从 服务 管理 的 角度 看 一 下 有 哪些 事情 要 做 。 


服务 上 下 线 : 前 面 看 到 服务 是 通过 ProviderBean 目 动 注册 的 ， 在 治 
理 中 我 们 还 需要 控制 服务 的 上 下 线 。 

o 针对 一 个 服务 所 有 机 器 的 上 线 和 下 线 操作 

o 针对 指定 机 器 的 上 线 和 下 线 操作 

o DoubleCheck 控 制 

服务 路 由 : 是 对 服务 路 由 策略 的 管理 ， 就 是 之 前 看 到 的 基于 接口 、 
方法 、 参 数 的 路 由 的 集中 管理 。 

o 路 由 管理 界面 支持 

o 路 由 信息 更 改 前 后 对 比 和 验证 

o 路 由 配置 多 版 本 管理 和 回 滚 

o DoubleCheck 控 制 

服务 限 流 降级 : 对 应 的 是 之 前 介绍 过 的 流 控 部 分 ， 服 务 降 级 是 对 服 
务 对 外 流 控 的 统一 管理 。 当 然 ， 除 了 管理 流 控 外 ， 还 集中 管理 了 服 
务 上 的 很 多 开关 。 例 如 ， 在 服务 调用 或 者 执行 的 地 方 ， 除 了 限 流 还 
可 以 停止 一 些 非 重要 功能 的 处 理 ， 以 便 主 流程 可 以 继续 执行 。 

o 根据 调用 来 源 限 流 

根据 具体 服务 限 流 

o 针对 服务 开关 降级 

o 流 控 、 降 级 配置 多 版 本 管理 和 回 深 

o DoubleCheck 控 制 

服务 归 组 : 是 在 集中 的 控制 台 调 整 服务 的 分 组 信息 ， 对 应 我 们 在 服 
务 提供 者 的 配置 属性 中 看 到 的 group 属 性 ， 可 以 在 集中 的 控制 台 对 
服务 的 分 组 直接 进行 管理 。 

o 归 组 规则 的 多 版 本 管理 和 回 滚 

o 归 组 规则 预览 

o 归 组 规则 的 影响 范围 和 评估 

o DoubleCheck 控 制 

服务 线程 池 管 理 : 是 对 于 服务 提供 者 的 服务 执行 的 工作 线程 池 的 管 


1 
调用 方 的 线程 管理 ， 主 要 是 最 大 并 发 的 管理 
。 服务 端 线程 工作 状况 查询 
服务 端 针对 不 同 服务 的 多 个 业务 线程 池 的 管理 











o DoubleCheck 控 制 
。 机房 规则 是 针对 多 机 房 、 虚 机 房 规则 的 管理 。 
o 规则 查询 和 发 布 校 验 
o 规则 多 版 本 管理 和 回 滚 
o DoubleCheck 控 制 
。 服务 授权 : 随 着 服务 和 服务 调用 者 的 增多 ， 一 些 重要 服务 的 使 用 是 
需要 有 授权 和 鉴 权 的 文 持 的 ， 服 务 授权 就 是 针对 服务 调用 者 的 授权 
管理 。 
o 授权 信息 查询 
o。 授权 规则 多 版 本 支持 和 回 深 
o DoubleCheck 控 制 








4.5 服务 框架 与 ESB 的 对 比 


企业 服务 总 线 〈ESB) 也 是 系统 在 采用 服务 化 时 的 一 个 重要 文 撑 产 
品 ， 这 一 节 我 们 看 一 下 本 章 所 讲 的 服务 框架 与 企业 服务 总 线 的 对 比 。 


图 4-36 是 ESB 结 构 的 一 个 简 图 。ESB 的 概念 是 从 面向 服务 体系 架构 
中 (SOA) 友 展 过 来 的 ， 它 是 对 多 样 系统 中 的 服务 调用 者 和 服务 提供 者 
的 解 簿 。ESB 本 身 也 可 以 解决 服务 化 的 问题 ， 它 提供 了 服务 暴露 、 接 
入 、 协 议 转换 、 数 据 格式 转换 、 路 由 等 方面 的 文 持 。ESB 与 服务 框架 主 
要 有 两 个 差异 ， 第 一 ， 服 务 框架 是 一 个 点 对 扣 的 模型 ， 而 ESB 是 一 个 总 
线 式 的 模型 ， 第 二 ， 服 务 框架 基本 上 是 面向 同 构 的 系统 ， 不 会 重点 考虑 
整合 的 需求 ， 而 ESB 会 更 多 地 考虑 不 同 厂 商 所 提供 服务 的 整合 。 
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图 4-36 ESB 结构 图 





4.0 JU 以 经 


到 这 里 ， 服 务 框架 的 介绍 就 结束 了 。 服 务 框 染 为 我 们 的 应 用 提供 了 
从 集中 式 系统 转向 分 布 式 系统 的 基础 支持 (如 图 4-37 所 示 ) 。 有 了 服务 
框架 的 文 持 ， 我 们 可 以 很 容易 地 对 原来 集中 在 一 个 应 用 中 的 各 种 代码 、 
操作 进行 梳理 ， 然 后 变 为 不 同 的 服务 调用 者 和 服务 提供 者 ， 而 通过 
Spring 使 用 服务 框架 的 配置 与 使 用 单机 的 Spring Bean 的 配置 差别 不 大 ， 
不 过 在 具体 的 代码 调试 和 问题 定位 上 ， 0 
烦 ， 我 们 处 理 完 服务 框架 、 服 务 治 理 后 ， 还 需要 针对 上 自身 的 测试 环境 去 
完成 一 些 相关 的 工作 ， 六 











图 4-37 引入 服务 框架 后 的 结构 变化 


服务 框架 帮助 我 们 完成 了 应 用 的 架构 变化 ， 在 第 5 章 我 们 一 起 来 看 
看 引入 中 间 件 以 后 ， 应 用 对 数据 库 进 行 访问 方面 的 变化 ， 也 就 是 数据 访 
问 层 。 

















(上 现在 由 专人 维护 ， 而 以 前 是 很 多 的 人 维护 很 多 代码 。 
a 之 前 会 随 着 应 用 系统 一 起 发 布 ， 并 且 应 用 系统 的 频繁 改动 会 可 能 造成 某 些 服务 代码 也 
仆人 收 改 。 

(3) II 般 就 是 完成 一 个 客户 端 
和 一 个 服务 端的 通信 ， 例 如 发 送 一 段 文本 信息 ， 对 方 收 到 后 自动 原样 反馈 ， 或 者 是 通过 控制 台 
的 输入 返回 一 个 结果 。 





















































第 5 章 ”数据 访问 层 


第 4 章 介 绍 的 服务 框架 可 以 使 应 用 从 集中 式 走 同 分 布 式 ， 解 决 了 当 
网 站 功能 越 来 越 丰富 时 ， 单 个 应 用 越 来 越 庞大 的 问题 ， 使 整个 系统 走 同 
服务 化 的 架构 。 随 着 数据 量 和 访问 量 的 上 升 ， 应 用 使 用 的 数据 库 也 会 遇 
到 问题 ， 这 就 需要 数据 访问 层 出 场 了 。 








5.1 数据 库 从 单机 到 分 布 式 的 挑战 和 
应 对 


5.1.1 从 应 用 使 用 单机 数据 库 开 始 


我 们 在 构建 网 站 时 会 使 用 数据 库 来 作为 数据 管理 的 基础 软件 。 使 用 
不 同 的 语言 、 在 不 同 平台 上 的 网 站 都 有 各 自 解决 数据 库 访问 问题 的 组 件 
和 方式 ， 各 种 类 似 0ODBC、JDBC 的 封装 以 及 ORM 的 处 理 都 已 经 比较 成 
熟 ， 我 们 在 这 一 章 里 不 会 重点 介绍 这 些 内 容 。 我 们 要 讲 的 是 在 一 个 大 型 
系统 底层 的 数据 量 和 访问 量 逐 步 增 大 的 过 程 中 ， 该 系统 将 要 面临 的 问题 
和 相应 的 解决 方案 。 


使 用 数据 库 是 存储 、 读 取 数 据 的 一 种 选择 ， 接 下 来 我 们 主要 介绍 以 
数据 库 为 基础 时 ， 数 据 访问 层 能 够 币 给 我 们 什么 便利 。 而 是 否 使 用 关系 
型 数据 库 解 决 业务 问题 不 是 本 章 讨 论 的 重点 。 


我 们 还 是 从 最 简单 的 应 用 说 起 ， 如 图 5-1 所 示 。 我 们 基于 Java 技 术 构 
建 网 站 ， 使 用 JDBC 方 式 来 连接 数据 库 。 在 网 站 初期 ， 这 会 运行 得 很 
好 ， 所 有 的 业务 数据 都 可 以 放 在 一 个 数据 库 中 来 管理 。 





图 5-1 应 用 使 用 单机 数据 库 


5.1.2 ”数据 库 垂 直 / 水 平 拆 分 的 困难 


随 着 网 站 业务 的 快速 友 展 ， 数 据 量 和 访问 量 不 断 上 升 ， 数 据 库 的 压 


力 越 来 越 大 。 更 换 更 好 的 硬件 (Scale Up) 是 一 种 解决 方案 ， 而 且 在 我 
们 能 付 得 起 人 硬件 费用 并 且 没 有 到 达 便 件 单机 瓶颈 时 ， 这 也 是 一 个 比较 简 
单 的 解决 方案 。 这 有 点 像 我 们 目 己 家 中 计算 机 的 升级 换代 。 但 是 数据 和 
i 6 8 
决 问题 。 


在 不 靠 升级 硬件 的 情况 下 ， 能 够 想到 的 处 理 方案 就 是 给 现 有 数据 库 
减 压 。 减 压 的 思路 有 三 个 ， 一 古 优化 应 用 ， 看 看 是 否 有 不 必要 的 压力 给 
了 数据 库 《〈 应 用 优化 ) ; 二 是 看 看 有 没有 其 他 办 法 可 以 降低 对 数据 库 的 
压力 ， 例 如 引入 缓存 、 加 搜索 引擎 等 ， 最 后 一 种 思路 就 是 把 数据 库 的 数 
0 
攻 。 


数据 拆 分 有 两 种 方式 ， 一 个 是 垂直 拆 分 ， 一 个 是 水 平 拆 分 。 垂 直 拆 
分 就 是 把 一 个 数据 库 中 不 同业 务 单 元 的 数据 分 到 不 同 的 数据 库 里 面 ， 水 
平 拆 分 是 根据 一 定 的 规则 把 同一 业务 单元 的 数据 拆 分 到 多 个 数据 库 中 。 
先 论 是 垂直 拆 分 还 是 水 平 拆 分 ， 最 后 的 结果 都 是 将 原来 在 一 个 数据 库 中 
的 数据 拆 分 到 了 不 同 的 数据 库 中 。 所 以 原来 单机 数据 库 可 以 文 持 的 特性 
现在 就 未 必 文 持 了 。 


牌 直 拆 分 会 带 来 如 下 影 啊 : 











单机 的 ACID 保证 被 打破 了 。 数 据 到 了 多 机 后 ， 原 来 在 单机 通过 事 
务 来 进行 的 处 理 逻 辑 会 受到 很 大 的 影响 。 我 们 面临 的 选择 是 ， 要 么 
放弃 原来 的 单机 事务 ， 修 改 实现 ， 要 么 引入 分 布 式 事务 。 

一 些 Join 操 作 会 变 得 比较 困难 ， 因 为 数据 可 能 已 经 在 两 个 数据 库 中 
了 ， 所 以 不 能 很 方便 地 利用 数据 库 目 身 的 Join 了 ， 需 要 应 用 或 者 其 
他 方式 来 解决 。 

徘 外 键 去 进行 约束 的 场景 会 受 影响 。 


水 平 拆 分 会 带 来 如 下 影响 : 





同样 有 可 能 有 ACID 被 打破 的 情况 。 

同样 有 可 能 有 Join 操 作 被 影响 的 情况 。 

徘 外 键 去 进行 约束 的 场景 会 有 影响 。 
依赖 单 库 的 自 增 序列 生成 唯一 ID 会 受 影响 。 


。 针对 单个 逻辑 意义 上 的 表 的 查询 要 跨 库 了 。 


可 以 看 到 ， 数 据 库 的 拆 分 给 应 用 带 来 的 影响 还 是 比较 明显 的 ， 这 里 
面 列 出 的 只 是 其 中 一 部 分 。 在 实践 中 ， 只 要 是 操作 数据 被 拆 分 到 不 同 库 
中 的 情况 ， 就 都 会 受到 影响 ， 例 如 原来 的 一 些 存储 过 程 、 触 用 器 等 也 需 
要 改写 才能 完成 相应 的 工作 了 。 


接 下 来 ， 我 们 分 析 一 下 前 面 提 到 的 具体 问题 及 其 应 对 。 


5.1.3 ”单机 变 为 多 机 后 ， 事 务 如 何 处 
理 


事务 的 支持 对 业务 来 说 是 一 个 非常 重要 的 特性 ， 数 据 库 软件 对 单机 
的 ACID 的 事务 特性 的 文 持 是 比较 到 位 的 ， 而 一 旦 进行 垂直 或 水 平 拆 分 
后 ， 我 们 所 要 面 对 的 就 是 多 个 数据 库 的 而 皮 了 ， 也 就 是 分 布 式 事务 了 ， 


这 是 一 个 难题 。 














5.1.3.1 了 解 分 布 式 事务 的 知识 


分 布 式 事务 是 指 事务 的 参与 者 、 文 持 事 务 的 服务 器 、 资 源 服务 器 以 
及 事务 管理 器 分 别 位 于 分 布 式 系 统 的 不 同 节点 上 。 对 于 传统 的 单机 上 的 
ee， 的 事情 都 在 这 一 人 台 机 器 上 完成 ， 而 在 分 布 式 事务 中 ， 会 有 多 
下 全 局 参与 3 





1. 分 布 式 事务 模型 与 规范 


X/Open 组 织 ( 即 现在 的 The Open Group) 提出 了 一 个 分 布 式 事务 的 
规范 一 一 XA。 在 看 XA 之 前 ， 我 们 先 看 一 下 X/Open 组 织 定 义 的 分 布 式 事 
务 处 理 模型 X/Open DTP 模型 (X/Open Distributed “Transaction 
Processing Reference Model) 。 在 X/Open DTP 模 型 中 定义 了 三 个 组 件 ， 


即 Application Program、Resource Manager 和 Transaction Manager， 分 别 





介绍 如 下 。 


。 Application Program (AP) ， 即 应 用 程序 ， 可 以 理解 为 使 用 DTP 模 
2 它 定 义 了 事务 边界 ， 并 定义 了 构成 该 事务 的 应 用 程序 的 

。 Resource Manager (RM) ， 资 源 管 理 器 ， 可 以 理解 为 一 个 DBMS 系 
统 ， 或 者 消息 服务 器 管理 系统 。 应 用 程序 通过 资源 管理 器 对 资源 进 
行 控 制 ， 资 源 必 须 实 现 XA 定 义 的 接口 。 资 源 管 理 器 提供 了 存储 共 
享 资源 的 文 持 。 

。 Transaction Manager (TM) ， 事 务 管理 器 ， 负 贡 协 调和 管理 事务 ， 
提供 给 AP 应 用 程序 编程 接口 并 管理 资源 管理 器 。 事 务 管理 器 向 事 
务 指 定 标识 ， 监 视 它 们 的 进程 ， 并 负责 处 理事 务 的 完成 和 失败 。 事 
务 分 文 标识 〈 称 为 XID ) 由 TM 指 定 ， 以 标识 一 个 RM 内 的 全 局 事务 
和 特定 分 支 。 它 是 TM 中 日 志 与 RM 中 日 志 之 间 的 相关 标记 。 两 阶段 
提交 或 回 深 需 要 XID， 以 便 在 系统 启动 时 执行 再 同步 操作 (也 称 为 
再 同步 (resync) ) ， 或 在 需要 时 允许 管理 员 执 行 试探 操作 (也 称 
为 手工 干预 ) 。 


在 这 三 个 组 件 中 ，AP 可 以 和 TM、RM 通 信 ， TM 和 RM 之 间 可 以 互 
相通 信 。DTP 模 型 里 面 定 义 了 XA 接口 ，TM 和 RM 通过 XA 接口 进行 双 问 
的 通信 ， 如 图 5-2 所 示 。 
























通过 资源 管理 器 操作 资源 通过 事务 管理 


器 控制 事务 







资源 管理 器 
(RM) 






事务 管理 器 注册 
管理 资源 管理 器 


图 5-2 ”分布 式 事务 AP/TM/RM 之 间 的 关系 
从 图 5-2 可 以 看 到 ，AP 和 RM 是 一 定 需要 的 ， 而 事务 管理 磺 TM 是 我 


们 额外 引入 的 。 之 所 以 要 引入 事务 管理 器 ， 和 是 因为 在 分 布 式 系统 中 ， 两 
台 机 顺 理 论 上 无 法 达到 一 致 的 状态 ， 需 要 引入 一 个 单 点 进行 协调 。 事 务 








管理 需 控 制 着 全 局 事务 ， 管 理事 务 的 生命 周期 ， 并 协调 资源 。 
在 DIP 中 还 定义 了 其 他 几 个 概念 ， 如 下 。 





。 事务 : 一 个 事务 是 一 个 完整 的 工作 单元 ， 由 多 个 独立 的 计算 任务 组 
成 ， 这 多 个 任务 在 逻辑 上 是 原子 的 。 

。 全 局 事务 : 一 次 性 操作 多 个 资源 管理 需 的 事务 就 是 全 局 事务 。 

。 分 文 事务 : 在 全 局 事务 中 ， 每 一 个 资源 管理 器 有 目 己 独立 的 任务 ， 
这 些 任务 的 集合 是 这 个 资源 管理 圳 的 分 文 任务 。 

。 控制 线程 用 来 表示 一 个 工作 线程 ， 主 要 是 关联 AP、TM 和 RM 三 
者 的 线程 ， 也 就 是 事务 上 下 文 环境 。 简 单 地 说 ， 就 是 用 来 标识 全 局 
事务 和 分 文 事务 关系 的 线程 。 


我 们 看 一 下 整体 DTP 的 模型 ， 如 图 5-3 所 示 。 


TX 应用 程序 iAP?》 
接口 【DB WA Moduley 
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{TM) XA 资源 管理 路 | 。 natve API 
a RM | | 
XA 资源 管理 器 
接口 CRMD) 


图 5-3 ”DTP 模型 


图 5-3 所 示 的 是 一 个 具体 使 用 DTP 模 型 的 例子 ， 解 释 如 下 。 








。 AP 与 RM 之 间 ， 可 以 使 用 RM 自身 提供 的 native API 进 行 交 互 ， 这 种 


方式 就 是 使 用 RM 的 传统 方式 ， 并 且 这 个 交互 不 在 TM 的 管理 范围 
内 。 另 外 ， 当 AP 和 RM 之 间 需 要 进行 分 布 式 事务 的 时 候 ，AP 需 要 得 
到 对 RM 的 连接 (此 链接 由 TM 管理 ) ， 然 后 使 用 XA 的 native API 来 
进位 公 全 4 

。 AP 与 TM 之 间 ， 该 例子 中 使 用 的 是 TX 接口 ， 也 是 由 X/Open 所 规范 
J 它 用 于 对 事务 进行 控制 ， 包 括 启动 事务 、 提 交 事 务 和 回 深 事 











。TM 与 RM 之 间 是 通过 XA 接口 进行 交互 的 。TM 管 理 了 到 RM 的 连 
接 ， 并 实现 了 两 阶段 提交 。 


2. 两 阶段 提交 


我 们 接 下 来 看 一 下 两 阶段 提交 协议 ， 即 2PC，Two Phase 
Commitment Protocol。 之 所 以 称 为 两 阶段 提交 ， 是 相对 于 单 库 的 事务 提 
交 方 式 来 说 的 。 我 们 在 单 库 上 完成 相关 的 数据 操作 后 ， 就 会 直接 提交 或 
0 而 在 分 布 式 系统 中 ， 在 提交 之 前 增加 了 准备 的 阶段 ， 所 以 称 为 

阶段 提交 。 


图 5-4 显 示 的 就 是 第 一 阶段 提交 的 情况 ， 可 以 看 到 ， 参 与 操作 的 是 
事务 管理 右 与 两 个 资源 。 











Prepare 


事务 管理 器 


(TM 》 


Prepare 





OK 
图 5-4 ”第 一 阶段 


图 5-5 所 示 的 是 第 二 阶段 的 情况 。 


Commit 


事务 管理 器 


(TM 》 


Commit 







OK 
图 5-5 第 二 阶段 


此 外 还 会 遇 到 的 另外 一 种 情况 ， 就 是 在 准备 阶段 有 一 个 资源 失败 ， 
那么 在 第 三 阶段 的 处 理 就 是 回 深 所 有 资源 ， 如 图 5-6 和 图 5-7 所 示 。 


Prepare 
事务 管理 器 


(TM™? 


Prepare 





Error 
图 5-6 ”出 现 问题 的 第 一 阶段 


Rollback 


事务 管理 器 
(TM? 
Rollback 


OK 
图 5-7 第 一 阶段 出 现 问题 后 的 第 二 阶段 
前 面 对 两 阶段 提交 的 介绍 都 是 在 理想 状态 下 的 情况 。 在 实际 当中 ， 


由 于 事务 管理 需 目 身 的 稳定 性 、 可 用 性 的 影响 ， 以 及 网 络 通 信 中 可 能 产 
生 的 问题 ， 出 现 的 情况 会 复杂 很 多 。 此 外 ， 事 务 管理 器 在 多 个 资源 之 间 














进行 协调 ， 它 自身 要 进行 很 多 日 志 记录 的 工作 。 网 络 上 的 交互 次 数 的 增 
多 以 及 引入 事务 管理 器 的 开销 ， 是 使 用 两 阶段 提交 协 议 使 分 布 式 事务 的 
开销 增 大 的 两 个 方面 。 

因此 ， 在 进行 垂直 拆 分 或 者 水 平 拆 分 后 ， 需 要 想 清楚 是 售 一 定 要 引 
入 两 阶段 的 分 布 式 事务 ， 在 必要 的 情况 下 才 建 议 使 用 。 


这 里 也 列 一 下 两 阶段 提交 协议 的 参考 资料 的 链接 : 














http://en.wikipedia.org/wiki/Two-phase_commit_ protocol 


5.1.3.2 ”大 型 网 站 一 致 性 的 基础 理论 一 一 
CAP/BASE 


分 布 式 事务 希望 在 多 机 环境 下 可 以 像 单 机 系统 那样 做 到 强 一 致 ， 这 
再 要 付出 比较 大 的 代价 。 而 在 有 些 场景 下 ， 接 收 状态 并 不 用 时 刻 保持 一 
致 ， 只 要 最 终 一 致 就 行 。 我 们 这 节 一 了 解 下 CAP 理 论 及 其 对 于 大 型 网 站 
的 意义 。 





CAP 理 论 是 Eric Brewer 在 2000 年 7 月 份 的 PODC 会 议 上 提出 的 〈 可 能 
提出 这 个 理论 的 时 间 出 乎 很 多 读者 的 意料 ) ，CAP 的 涵义 如 下 。 


。 Consistency: all nodes see the same data at the same time， 即 所 有 的 
节点 在 同一 时 间 读 到 同样 的 数据 。 这 就 是 数据 上 的 一 致 性 (用 C 表 
， 也 就 是 当 数 据 写 入 成 功 后 ， 所 有 的 节点 会 同时 看 到 这 个 新 的 
数据 。 





Availability: a guarantee that every request receives a response about 
whether it was successful or failed， 保 证 无 论 是 成 功 还 是 失败 ， 每 个 
请 求 都 能 够 收 到 一 个 反 饿 。 这 就 是 数据 的 可 用 性 〈 用 A 表 示 ) ， 这 
里 的 重点 是 系统 一 定 要 有 了 啊 应 。 
Partition-Tolerance: the system continues to operate despite arbitrary 
message loss or failure of part of the system， 即 便 系 统 中 有 部 分 问题 
或 者 有 消 晨 的 丢失 ,但 系统 仍 能 够 继续 运行 。 这 被 称 为 分 区 容 妨 性 
0 ， 也 就 是 在 系统 的 一 部 分 出 现 问题 时 ， 系 统 仍 能 继续 
工作 。 











但 是 ， 在 分 布 式 系统 中 并 不 能 同时 满足 上 面 三 项 。 图 5-8 更 直观 地 
解释 了 CAP 理 论 ， 就 是 圆 的 总 面积 是 不 变 的 ， 我 们 不 能 同时 增 大 C、 
A、P 三 者 的 面积 ， 我 们 可 以 选择 其 中 两 个 来 提升 ， 而 另外 一 个 则 会 受 
到 损失 。 那 么 ， 在 进行 系统 设计 和 权衡 时 ， 其 实 就 是 在 选择 CA、AP 或 
是 CP。 


/在 分 布 式 系统 中 ， 我 们 
最 多 满足 其 中 两 项 


图 5-8 ”CAP 理 论 


artition-Tolerance 





。 选择 CA， 放 莽 分 区 容 妨 性 ， 加 强 一 致 性 和 可 用 性 。 这 其 实 就 是 传 
统 的 单机 数据 库 的 选择 。 

。 选择 AP， 放 弃 一 怪 性 ， 退 求 分 区 容忍 性 及 可 用 性 。 这 是 很 多 分 布 
式 系统 在 设计 时 的 选择 ， 例 如 很 多 NoSQL 系 统 就 是 如 此 。 

。 选择 CP， 放 弃 可 用 性 ， 奶 求 一 致 性 和 分 区 容 妨 性 。 这 种 选择 下 的 
可 用 性 会 比较 低 ， 网 络 的 问题 会 直接 让 整个 系统 不 可 用 。 
从 上 面 的 分 析 可 以 看 出 ， 在 分 布 式 系统 中 ， 我 们 一 般 还 是 选择 加 强 

可 用 性 和 分 区 容忍 性 而 牺牲 一 臻 性。 当然 ， 这 里 所 讲 的 并 不 是 不 关心 一 

致 性 ， 而 是 首先 满足 A 和 P， 然 后 看 如 何 解 决 C 的 问题 。 


我 们 再 来 看 看 BASE 模 型 ，BASE 涵 义 如 下 。 








。 Basically Available: 基本 可 用 ， 人 允许 分 区 失败 。 
。 Soft state: 软 状态 ， 接 受 一 段 时 间 的 状态 不 同步 。 
。 Eventually consistent: 最 终 一 致 ， 保 证 最 终 数 据 的 状态 是 一 致 的 。 


当 我 们 在 分 布 式 系统 中 选择 了 CAP 中 的 A 和 P 后 ， 对 于 C， 我 们 采用 
的 方式 和 策略 就 是 保证 最 终 一 致 ， 也 就 是 不 保证 数据 变化 后 所 有 节点 立 
刻 一 致 ， 但 是 保证 它们 最 终 是 一 致 的 。 在 大 型 网 站 中 ， 为 了 更 好 地 保持 
人 
来 实现 。 





5.1.3.3” 比 两 阶段 提交 更 轻 量 一 些 的 Paxos 协 议 


A 
协议 。 


在 分 布 式 系统 中 ， 节 点 之 间 的 信息 交换 有 两 种 方式 ， 一 种 是 通过 共 
译 内 存 共用 一 份 数 据 ， 男 一 种 是 通过 消 奶 投递 来 完成 信息 的 传递 。 而 在 
分 布 式 系 统 中 ， 通 过 消 妃 投递 的 方式 会 遇 到 很 多 意外 的 情况 ， 例 如 网 络 
问题 、 进 程 挂 挥 、 机 器 挂 挥 、 进 程 很 慢 没 有 咽 应 、 进 程 重 局 等 情况 ， 这 
束 会 造成 消 轧 重复 、 一 段 时 间 内 部 不 可 达 等 现象 。Paxos 协 议 古 帮助 我 
们 解决 分 布 式 系统 中 一 致 性 问题 的 一 个 方案 。 


使 用 Paxos 协 议 有 一 个 前 提 ， 那 就 是 不 存在 拜 占 寿 将 盏 问题 。 拜 占 
许 位 于 现在 土耳其 的 伊斯坦布尔 ， 是 东 罗 马 带 国 的 首都 。 当 时 拜 占 硅 多 
马 带 国 国土 辽阔 ， 防 御 敌 人 的 各 个 军队 都 分 隔 很 远 ， 将 军 与 将 军 之 间 只 
能 靠 信 差 传 消 轧 。 在 战争 时 ， 拜 占 寿 军队 内 所 有 将 军 和 副官 必须 达成 共 
识 ， 决 定 出 是 否 有 最 的 机 会 才 去 攻打 敢 人 的 阵营 。 但 是 ， 在 军队 内 可 能 
有 叛徒 或 敌 军 的 间 读 ， 扰 乱 将 军 们 的 决定 又 扰乱 整体 军队 的 秩序 ， 他 们 
使 得 最 终 的 决定 结果 并 不 代表 大 多 数 人 的 意见 。 这 时 ， 在 已 知 有 成 员 谋 
反 的 情况 下 ， 其 余 忠 诚 的 将 军 应 该 如 何不 受 叛徒 的 影响 达成 一 致 的 协 
议 ? 拜占庭 将 军 问 题 就 此 形成 。 也 惑 是 说 ， 拜 占 隆 将 军 问题 是 一 个 没有 
办 法 保证 可 信 的 通信 环境 的 问题 ，Paxos 的 前 提 是 有 一 个 可 信 的 通信 环 
境 ， 也 吏 是 说 信息 都 是 准确 的 ， 没 有 被 修改。 


Paxos 算 法 的 提出 过 程 是 ， 虚 拟 了 一 个 叫做 Paxos 的 希腊 城邦 ， 并 通 
过 议会 以 决议 的 方式 介绍 Paxos 算 法 。 


首先 把 议员 的 角色 分 为 了 Proposers、Acceptors 和 Learners， 议 员 可 
以 身 兼 数 职 ， 介 绍 如 下 。 
































。 Proposers， 提 出 议案 者 ， 就 是 提出 议案 的 角色 。 

。 Acceptors， 收 到 议案 后 进行 判断 的 角色 。Acceptors 收 到 议案 后 要 选 
择 是 否 接受 〈Accept) 议案 ， 知 议案 获得 多 数 Acceptors 的 接受 ， 则 
该 议案 被 批准 (Chosen) 。 

只 能 “学 习 ” 被 批准 的 议案 ， 相 当 于 对 通过 的 议案 进行 观 

察 的 8 


在 Paxos 协 议 中 ， 有 两 个 名 词 介 绍 如 下 。 





。 Proposal， 议 案 ， 由 Proposers 提 出 ， 被 Acceptors 批 准 或 否决 。 
。 Value， 决 议 ， 议 案 的 内 容 ， 每 个 议案 都 是 由 一 个 {编号 ， 决 议 } 对 
组 成 。 


在 角色 划分 后 ， 可 以 更 精确 地 定义 问题 ， 如 下 所 述 : 


。 决议 (Value) 只 有 在 被 Proposers 提 出 后 才能 被 批准 (未 经 批准 的 
决议 称 为 “议案 (Proposal) ”) 。 

。 在 Paxos 算 法 的 执行 实例 中 ， 一 次 只 能 批准 (Chosen) 一 个 Value。 

。 Learners 只 能 获得 被 批准 (Chosen) 的 Value。 


对 议员 来 说 ， 每 个 议员 有 一 个 结实 耐用 的 本 子 和 擦 不 掉 的 墨水 来 记 
录 议 案 ， 议 员 会 把 表决 信息 记 在 本 子 的 背面 ， 本 子 上 的 议案 永远 不 会 改 
变 ， 但 是 背面 的 信息 可 能 会 被 划 掉 。 每 个 议员 必须 (也 只 需要 ) 在 本 子 
背面 记录 如 下 信息 : 














。 LastTried[p]， 由 议员 p 试 图 发 起 的 最 后 一 个 议案 的 编号 ， 如 果 议 员 p 
没有 发 起 过 议案 ， 则 记录 为 负 无 穷 大 。 

。 PreviousVote[p]， 由 议员 p 投 票 的 所 有 表决 中 ， 编 号 最 大 的 表决 对 应 
的 投票 ， 如 果 没 有 投 过 票 则 记录 为 负 无 穷 大 。 

。 NextBallot[p]， 由 议员 p 发 出 的 所 有 LastVote (b,v) 消息 中 ， 表 决 编 
号 b 的 最 大 值 。 


基本 协议 的 完整 过 程 如 下 。 


(1) 议员 p 选 择 一 个 比 LastTried[p] 大 的 表决 编写 b， 设 置 
LastTried[p] 的 值 为 b， 然 后 将 NextBallot (b) 消息 发 送 给 某 些 议员 。 





(2) 从 p 收 到 一 个 b 大 于 NextBallot[q] 的 NextBallot (b) 消息 后 ， 议 
员 q 将 NextBallot[q] 设 置 为 b， 然 后 发 送 一 个 LastVote (bv) 消息 给 p， 其 
中 v 等 于 PreviousVote [gq] (b<NextBallot[q] 的 NextBallot (b) 消息 将 被 忽 
略 〉。 


(3) 在 某 个 多 数 集合 Q 中 的 每 个 成 员 都 收 到 一 个 LastVote 〈bv) 消 
息 后 ， 议 员 p 发 起 一 个 编号 为 b、 法 定 人 数 集 为 Q、 议 案 为 d 的 新 表决 。 
然后 它 会 给 Q 中 的 每 一 个 牧师 发 送 一 个 BeginBallot (b,d) 消息 。 


(4) 在 收 到 一 个 b=NextBallot[q] 的 BeginBallot (b,d) 消息 后 ， 议 员 
gd 在 编写 为 b 的 表决 中 投 出 他 的 一 票 ， 设 置 PreviousVote [p] 为 这 一 票 ， 然 
后 问 p 发 送 Yoted (b,q) 消息 。 


(5) p 收 到 Q 中 每 一 个 gq 的 Voted (b,q) 消息 后 (这 里 Q 是 表决 b 的 法 
定 人 数 集 合 ，b=LastTried[p]) ， 将 d4〈 这 轮 表 决 的 法 令 ) 记录 到 他 的 本 
子 上 ， 然 后 发 送 一 条 Success (d) 消息 给 每 个 q。 


(6) 一 个 议员 在 接收 到 Success (d) 消息 后 ， 将 决议 d 写 到 他 的 本 








上 上 


从 上 面 的 介绍 可 以 看 出 ，Paxos 不 是 那么 容易 理解 的 ， 不 过 总 结 一 
下 核心 的 原则 就 是 少数 服从 多 数 。 


大 家 会 发 现 ， 如 果 系 统 中 同时 有 人 提议 案 的 话 ， 可 能 会 出 现 碰 撞 失 
败 ， 然 后 双方 都 需要 增加 议案 的 编号 再 提交 的 过 程 。 而 再 次 提交 可 能 仍 
然 存 在 编写 冲突 ， 因 此 双方 需要 再 增加 编写 去 提交 。 这 就 会 产生 活 锁 。 


解决 的 办 法 是 在 整个 集群 当中 设 一 个 Leader， 所 有 的 议案 都 由 他 来 
提 ， 这 样 就 可 以 避免 这 种 冲突 了 。 这 其 实 是 把 提案 的 工作 变 为 一 个 单 
点 ， 而 引发 的 新 问题 是 如 果 这 个 Leader 出 问题 了 该 如 何 处 理 ， 那 就 需要 
再 选 一 个 Leader 出 来 。 


以 上 对 于 Paxos 的 介绍 只 是 一 个 非 第 基础 的 介绍 ， 读 者 如 果 想 对 此 
有 更 深入 的 了 解 ， 可 以 阅读 The Part-Time Parliament、 Paxos Made 
Simple、 Consensus on Transaction Commit、Cheap Paxos、Fast Paxos 等 


论文 ， 也 可 以 参考 维基 百科 上 Paxos 的 资料 ， 网 址 为 - 


http://en.wikipedia.org/wiki/Paxos_ (computer _ science) 。 





5.1.3.4 ”集群 内 数据 一 致 性 的 算法 实例 


关于 集群 内 数据 的 一 致 性 ， 我 们 通过 Quorum 和 Vector Clock 算 法 来 
具体 讲解 一 下 ， 亚 马 进 Dynamo 的 论文 中 对 Quorum 和 Vector Clock 有 比较 
详细 的 介绍 


先 来 看 Quorum， 人 分 布 式 系统 中 数据 一 致 性 和 可 用 性 
的 ， 我 们 引入 三 个 变量 ， 如 下 





。N: 数据 复制 节 扣 数量 。 
。R: 成 功 读 操 作 的 最 小 节点 数 。 
。W: 成 功 写 操作 的 最 小 节点 数 。 


如 果 W 十 R>N， 有 是 可 以 保证 强 一 致 性 的 ， 而 如 宁 W 十 R<N， 是 能 够 
保证 最 终 一 致 性 的 。 


根据 前 面 的 CAP 理 论 ， 我 们 需要 在 一 致 性 、 可 用 性 和 分 区 容忍 性 方 
面 进行 权衡 。 例 如 ， 如 果 让 W=N 且 R 王 1， 就 会 大 大 降低 可 用 性 ， 但 是 
一 致 性 是 最 好 的 。 

Vector Clock 的 思路 是 对 同一 份 数 据 的 每 一 次 修改 都 加 上 “< 修改 
者 ， 版 本 号 >” 这 样 一 个 信息 ， 用 于 记录 修改 者 的 信息 及 版 本 号 ， 通 过 这 
样 的 信息 来 帮助 我 们 解决 一 些 冲突 。 

假设 有 如 下 场景 : 


Alice、Ben、Catby 和 Dave 四 人 约定 下 周 要 一 起 聚餐 ， 四 个 人 通过 
邮件 商量 聚餐 的 时 间 。 


Alice 首 先 建议 周三 聚餐 。 

之 后 Dave 和 Catby 商 量 觉 得 周 四 更 合适 。 

后 来 Dave 又 和 Ben 商 量 之 后 觉得 周二 也 行 。 
最 后 Alice 要 汇总 大 家 的 意见 ， 得 到 的 反馈 如 下 : 




















Catby 说 ， 他 和 Dave 商 量 的 时 间 周 四 。 
Ben 说 ， 他 和 Dave 了 商量 的 时 间 是 周三 。 


此 时 恰好 联系 不 上 Dave， 而 且 不 知道 Catby 和 和 Ben 分别 与 Dave 确 定 
时 间 的 先后 顺序 。 


Alice 吏 不 能 确定 到 底 该 定 在 哪 一 天 了 。 


类 似 的 事情 经 和 会 发 生 。 当 你 同 两 个 或 几 个 人 问 一 些 消息 时 ， 返 回 
的 内 容 往往 不 一 样 ， 而 且 你 不 知道 哪个 是 最 新 的 。Vector Clock 束 是 为 
了 解决 这 种 问题 而 设计 的 ， 简 单 来 说 ， 束 是 为 每 一 个 商议 结果 附 上 一 个 
时 间 戳 ， 当 结果 改变 时 ， 更 新 时 间 惟 。 加 上 时 间 戳 后， 我 们 再 一 次 描述 
上 面 的 场景 ， 如 下 。 


当 Alice 第 一 次 提议 将 时 间 定 为 周三 时 ， 可 以 这 样 描述 这 个 信息 : 








data = Wednesday 
vclock = Alice:1 


vclock 就 是 这 条 消息 的 Vector Clock，Alice:1 表 示 这 是 从 Alice 发 出 的 
第 一 个 版 本 。 接 着 ，Dave 和 了 Ben 商量 将 时 间 改 为 周二 ，Ben 发 给 Dave 的 
消息 如 下 : 


data = Tuesday 
vclock = Alice:1, Ben:1 


注意 Ben 这 条 消 恩 保留 了 Alice 的 记录 ， 同 时 加 上 了 自己 的 记录 。 


Ben:1 代 表 这 是 Ben 第 一 次 修改 的 记录 。 接 着 Dave 收 到 Ben 的 消息 ， 并 同 
意 将 时 间 改 为 周二 ， 他 回 给 Ben 的 消息 如 下 : 





data = Tuesday 
vclock = Alice:1, Ben:1, Dave:1 


这 条 消息 同样 保留 了 原来 已 有 的 vclock 记 录 ， 同 时 加 上 了 自己 的 记 
录 。 





男 一 方面 ，Catby 收 到 Alice 的 消 轧 ， 打 算 与 Dave 商 量 将 时 间 改 为 周 


四 ， 于 是 他 发 送 如 下 消息 给 Dave: 


data = Thursday 
vclock = Alice:1, Catby:1 


看 到 这 里 你 可 能 会 奇怪 ， 为 什么 vclock 中 没有 了 之 前 的 Ben 和 Dave 
的 记录 了 ? 这 是 因为 Ben 和 Dave 商 量 的 时 候 Catby 并 不 知道 这 个 情况 。 
Catby 手 中 的 信息 还 是 Alice 最 初 发 送 的 那 份 。 这 样 当 Dave 收 到 来 自 Catby 
的 消息 时 就 发 现 有 冲突 了 。Dave 手 中 的 两 份 信息 如 下 : 





date = Tuesday 

vclock = Alice:1, Ben:1, Dave:1 
date = Thursday 

vclock = Alice:1, Catby:1 


Dave 通 过 比 对 两 份 消 因 的 vclock 可 以 发 现 冲 突 ， 这 是 因为 上 面 两 个 
版 本 的 vclock 都 不 是 对 方 的 “祖先 ”。 其 中 vector clock 对 祖先 的 定义 是 这 
样 的 : 对 于 vclock A 和 vclock B， 当 且 仅 当 A 中 的 每 一 个 标记 ID 都 存在 于 
B 中 ， 同 时 A 中 对 应 的 标记 版 本 号 要 小 于 等 于 B 时 ，vclockA 才 是 vclockB 
的 祖先 。 如 果 标 记 ID 不 存在 ， 可 以 认为 标记 版 本 号 为 0。 


Dave 通 过 对 比 vclock 发 现 了 版 本 冲突 ， 于 是 尝试 解决 冲突 。 两 个 版 
本 中 只 能 选择 一 个 ， 他 选择 了 时 间 为 周 四 的 ， 那 么 这 条 消息 可 以 表示 


站 
N| 。 
. 











date = Thursday 
vclock = Alice:1, Ben:1, Catby:1, Dave:2 


Dave 在 vclock 中 加 上 了 两 个 消息 中 的 全 部 标记 ID (Alice、Ben、 
Catby 和 Dave) ， 同 时 将 自己 对 应 的 版 本 号 加 1， 然 后 将 这 条 消息 发 送 给 
Catby。 


最 后 ， 当 Alice 从 Catby 和 了 Ben 收集 反馈 消息 时 《此 时 Dave 联 系 不 
上 ) ， 收 到 如 下 消息 。 


来 自 Ben 的 : 


data = Thursday 
vclock = Alice:1, Ben:1, Dave:1 


来 自 Catby 的 : 


data = Thursday 
vclock = Alice:1, Catby:1, Ben:1, Dave:2 


这 时 Alice 从 Catby 的 消息 就 可 看 出 ，Dave 后 来 改变 主意 了 。 

到 这 里 ， 我 们 来 介绍 一 些 分 布 式 环境 下 的 与 事务 相关 的 算法 和 实 
践 。 从 工程 上 来 说 ， 如 采 能 够 避免 分 布 式 事务 的 引入 ， 那 么 还 是 避免 为 
好 ; 如 果 一 定 要 引入 分 布 式 事务 ， 那 么 ， 可 以 考虑 最 终 一 致 的 方法 ， 而 
不 要 追求 强 一 致 。 而 且 从 实现 上 来 说 ， 我 们 是 通过 补偿 的 机 制 不 断 重 
试 ， 让 之 前 因为 异常 而 没有 进行 到 底 的 操作 继续 进行 ， 而 不 是 回 深 。 如 
果 还 不 能 满足 需求 ， 那 么 基于 Paxos 算 法 的 实现 会 是 一 个 不 错 的 选择 。 


5.1.4 多 机 的 Sequence 问 题 与 处 理 


ee 时 ， 原 来 单 库 中 的 Sequence 及 自 增 Id 的 做 法 需要 
改变 。 











在 大 家 比较 熟悉 的 Oracle 里 ， 提 供 对 Sequence 的 支持 ;， 在 MySQL 
里 ， 提 供 对 Auto Increment 字 段 的 支持 ， 我 们 都 能 很 容易 地 实现 一 个 目 
增 的 不 重复 Id 的 序列 。 在 分 库 分 表 后 ， 这 就 成 了 一 个 难题 。 我 们 可 以 从 
下 面 两 个 方向 来 思考 和 解雇 这 个 问题 : 


。 唯一 性 
。 连续 性 


如 果 我 们 只 是 考虑 Id 的 唯一 性 的 话 ， 那 么 可 以 参考 UUID 的 生成 方 
式 ， 或 者 根据 目 己 的 业务 情况 使 用 各 个 种 子 〈 不 同 维度 的 标识 ， 例 如 
IP、MAC、 机 峰 名 、 时 间 、 本 机 计数 喜 等 因 系 ) 来 生成 唯一 的 Id。 这 样 
生成 的 Id 虽然 保证 了 唯一 性 ， 但 在 整个 分 布 式 系统 中 的 连续 性 不 好 。 


接 下 来 看 看 连续 性 。 这 里 说 的 连续 性 是 指 在 整个 分 布 式 环境 中 生成 
的 Id 的 连续 性 。 在 单机 环境 中 ， 其 实 束 是 一 个 单 点 来 完成 这 个 任务 ， 在 
分 布 式 系 统 中 ， 我 们 可 以 用 一 个 独立 的 系统 来 完成 这 个 工作 。 


这 里 提供 一 个 实现 方案 : 我 们 把 所 有 Id 集 中 放 在 一 个 地 方 进行 管 
理 ， 对 每 个 Id 序列 独立 管理 ， 每 合 机 器 使 用 Id 时 都 从 这 个 Id 生成 器 上 
取 。 这 里 有 如 下 几 个 关键 问题 需要 解决 。 





性 能 问题 。 每 次 都 远程 取 Id 会 有 资源 损耗 。 一 种 改进 方案 是 一 次 取 
一 段 Id4， 然 后 缓存 在 本 地 ， 这 样 束 不 需要 每 次 都 去 远程 的 生成 器 上 
取 Id 了 。 但 是 也 会 带 来 问题 : 如 果 应 用 取 了 一 段 Id4， 正 在 用 时 完全 
宕 机 了 ， 那 么 一 些 Id 号 就 浪费 不 可 用 了 。 

生成 喜 的 稳定 性 问题 。Id 生 成 喜 作 为 一 个 无 状态 的 集群 存在 ， 其 可 
用 性 要 靠 整个 集群 来 保证 。 

存储 的 问题 。 这 确实 是 需要 去 考虑 的 问题 ， 底 层 存储 的 选择 空间 较 
大 ， 需 要 根据 不 同类 型 进行 对 应 的 容 灾 方案 。 下 面 介绍 两 种 方式 。 


如 图 5-9 所 示 ， 我 们 在 后 层 使 用 一 个 独立 的 存储 来 记录 每 个 1d 序列 当 
前 的 最 大 值 ， 并 控制 并 用 更 新 ， 这 样 一 来 Id 生成 右 的 逻辑 就 很 简单 了 。 


























机 器 4 





图 5-9 ”独立 Id 生成 器 方式 





一 种 改变 是 直接 把 Id 生成 器 舍 掉 ， 把 相关 的 逻辑 放 到 需要 生成 Id 的 
应 用 本 身 就 行 了 。 也 就 是 说 ， 去 掉 应 用 和 存储 之 间 的 这 个 独立 部 署 的 生 
成 器 ， 而 在 每 个 应 用 上 完成 生成 器 要 做 的 工作 ， 即 读 取 可 用 的 Id 或 者 ld 
段 ， 然 后 给 应 用 的 请 求 使 用 ， 如 图 5-10 所 示 。 





图 5-10 ”生成 器 散 入 到 应 用 的 方式 





不 过 因为 图 5-10 中 的 方式 没有 中 心 的 控制 节点 ， 并 且 我 们 不 希望 生 
成 喜之 间 还 有 通信 《这 会 使 系统 非常 复杂 ) ， 因 此 数据 的 Id 并 不 是 严格 
按照 进入 数据 库 的 顺序 而 增 大 的 ， 在 管理 上 也 需要 有 额外 的 功能 ， 这 些 
是 需要 权衡 之 处 。 


5.1.5 ”应 对 多 机 的 数据 奏 闻 


5.1.5.1 ”路 库 Join 





解决 了 Sequence 的 问题 ， 我 们 接 下 来 看 看 Join 的 问题 。 


在 分 库 后 ， 如 宋 需 要 Join 的 数据 还 在 一 个 库 里 面 ， 那 就 可 以 直接 进 
行 ion 操 作 。 例 如 ,我 们 根据 用 户 的 1d 进行 用 户 相 关 信 息 的 分 库 ， 那 么 
如 果 碍 询 茶 个 用 户 在 不 同 表 中 的 一 些 关 联 信息 ， 还 是 可 以 进行 Join 操 作 
的 。 如 果 需 要 Join 的 数据 已 经 分 布 在 多 个 库 中 了 ， 那 就 需要 完成 路 库 的 
Join 操 作 ， 这 会 比较 麻烦 ， 解 决 的 思路 有 如 下 几 种 。 





。 在 应 用 层 把 原来 数据 库 的 Join 操 作 分 成 多 次 的 数据 库 操 作 。 举 个 例 
子 ， 我 们 有 用 户 基本 信息 的 数据 表 ， 也 有 用 户 出 售 的 商品 的 信息 
表 ， 需 求 是 查 出 来 登记 手机 号 为 138XXXXXXXX 的 用 户 在 售 的 商 
品 总 数 。 这 在 单 库 时 用 一 个 SQL 的 Join 就 解决 了 ， 而 如 果 商 品 信息 
与 用 户 信 息 分 开 了 ， 我 们 就 需要 先 在 应 用 层 根据 手机 号 找到 用 户 
Id， 然 后 再 根据 用 户 Id 找 到 相关 的 商品 总 数 。 

数据 元 余 ， 也 就 是 对 一 些 常 用 信息 进行 元 余 ， 这 样 就 可 以 把 原来 需 
要 Join 的 操作 变 为 单 表 查 询 。 这 需要 结合 具体 业务 场景 。 

。 借助 外 部 系统 (例如 搜索 引擎 ) 解决 一 些 跨 库 的 问题 。 























5.1.5.2 ”外 键 约束 








外 键 约束 的 问题 比较 难 解 决 ， 不 能 完全 依赖 数据 库 本 号 来 完成 之 前 
的 功能 了 。 如 果 要 对 分 库 后 的 单 库 做 外 键 约束 ， 就 要 求 分 库 后 每 个 单 库 
的 数据 是 内 聚 的 ， 人 否则 惑 只 能 靠 应 用 层 的 判断 、 容 错 等 方式 了 。 


5.1.5.3 ” 跨 库 查询 的 问题 及 解决 


1. 数据 库 分 库 分 表 的 演化 





我 们 接 下 来 看 一 下 合并 查询 的 问题 。 合 并 查询 问题 产生 的 根源 在 于 
我 们 在 进行 水 平分 库 分 表 时 ， 把 一 张 逻 辑 上 的 表 分 成 了 多 张 物 理 上 的 
表 。 例 如 ， 我 们 有 一 个 用 户 信息 表 ， 根 据 用 户 Id 进行 分 库 分 表 后 ， 物 理 
上 就 会 分 成 很 多 用 户 信息 表 ， 如 图 5-11 所 示 。 





图 5-11 数据 分 库 分 表 的 变化 


从 图 5-11 可 以 看 到 ， 最 初 用 户 信 息 保 存在 一 个 数据 库 中 (最 左边 的 
部 分 ) ;然后 进行 了 分 库 ， 变 为 了 两 个 库 〈 中 间 的 部 分 ) ， 这 两 个 库存 
储 不 同 的 用 户 信 息 ， 二 者 加 起 来 等 于 最 初 的 那个 库 ;， 然后 义 进 行 了 分 表 
(右边 的 部 分 ) ， 也 就 是 在 每 个 库 里 面 又 把 数据 拆 为 了 两 张 表 ， 这 两 个 
库 中 四 张 表 的 数据 加 在 一 起 等 于 最 左边 那个 库 中 的 数据 。 


从 逻辑 概念 上 来 说 ， 用 户 信 息 应 该 放 在 一 起 存储 ， 然 而 随 着 数据 
量 、 访 问 量 的 上 升 ， 需 要 经 历 分 库 分 表 ， 此 时 用 户 信 息 在 物理 上 是 分 布 
在 多 个 数据 库 的 多 张 表 中 的 ， 也 就 是 说 一 张 逻 辑 上 的 表 对 应 了 多 张 物理 
上 的 表 ， 在 应 用 中 ， 对 这 张 逻辑 表 的 查询 就 需要 做 器 库 跨 表 的 合并 了 。 
这 个 场景 和 前 面 的 跨 库 Join 还 不 同 ， 路 库 Join 是 在 不 同 的 馆 辑 表 之 间 的 
Join， 在 分 库 后 这 些 Join 可 能 需要 路 多 个 数据 库 ， 而 我 们 现在 看 到 的 合 
并 得 询 是 针对 一 个 馆 辑 表 的 查询 操作 ， 但 因为 物理 上 分 到 了 多 个 库 多 个 
表 ， 因 而 产生 了 数据 的 合并 查询 。 

















2. 从 具体 例子 看 分 库 分 表 后 得 询 的 问题 


来 看 一 个 具体 的 例子 ， 假 设 我 们 有 下 面 这 样 一 个 用 户 表 《如 表 5-1 
所 示 ) ， 我 们 需要 找到 东 一 《或 未 些 ) 省 份 中 符合 一 定年 龄 范围 的 用 
厂 。 





表 5-1 用 户 表 示例 


Name Age Gender Mobile 
了 28 男 


炉 三 1XXXXXX 
jl 4 | 2 | 男 | ooo 
































在 单 表 时 ， 这 是 一 个 非常 普通 的 碍 询 ， 而 分 库 分 表 后 ， 我 们 可 能 会 
遇 到 一 些 有 麻烦 ， 有 共 体 取决 于 分 库 分 表 的 方式 。 


如 果 是 按照 地 域 分 库 分 表 ， 残 是 说 同一 省 份 的 用 户 信 息 分 在 同一 数 
据 库 的 同一 个 表 中 ， 那 么 这 个 问题 残 变 为 一 个 单 库 单 表 的 问题 了 。 如 图 
5-12 所 示 ， 我 们 按 省 进行 了 分 库 ， 单 个 省 的 所 有 用 户 信 息 者 在 同一 个 库 
中 ， 所 以 在 碍 询 时 ， 确 定 了 省 束 确 定 了 唯一 对 应 的 数据 库 和 表 ， 就 如 同 
没有 进行 分 库 分 表 的 情况 。 




















图 5-12 ”数据 分 库 


如 果 在 这 个 基础 上 我 们 又 对 库 进 行 了 分 表 ， 该 怎么 办 ?如 图 5-13 所 
示 。 这 时 ， 如 果 我 们 要 查询 某 一 个 省 的 用 户 信息 ， 那 么 还 是 与 单 库 单 表 
的 情况 相同 ; 如 果 查 询 多 个 省 的 用 户 信 息 ， 那 么 就 可 能 要 跨 库 (例如 
province in〔( 人 “浙江”,‘ 上 海 ') ) ， 也 可 能 在 一 个 库 中 跨 表 【〈 例 如 province 
in (人 浙江’,“ 河 南 *)) 。 








图 5-13 ”数据 分 库 分 表 

















在 这 样 的 情况 下 ， 就 需要 对 得 询 结果 在 应 用 上 进行 合并 ， 这 相对 比 
较 简 单 ， 但 是 在 一 些 场景 下 需要 进行 较为 复杂 的 操作 ， 介 绍 如 下 。 


(1) 排序， 即 多 个 来 源 的 数据 碍 询 出 来 后 ， 在 应 用 层 进行 排序 的 
工作 。 如 宋 从 数据 库 中 得 询 出 的 数据 是 已 经 排 好 序 的 ， 那 么 在 应 用 层 要 


进行 的 就 是 对 多 路 的 归并 排序 ， 如 果 碍 询 出 的 数据 未 排序 ， 束 要 进行 一 
个 全 排序 。 











(2) 函数 处 理 ， 即 使 用 Max、Min、Sum、Count 等 孙 数 对 多 个 数 
据 来 源 的 值 进 行 相应 的 函数 处 理 。 


(3) 求 平 均值 ， 从 多 个 数据 来 源 进行 查询 时 ， 需 要 把 SQL 改 为 碍 
询 Sum 和 Count， 然 后 对 多 个 数据 来 源 的 Sum 求 和 、Count 求 和 后 ， 计 算 
平均 值 ， 这 是 需要 注意 的 地 方 。 





(4) 非 排 序 分 页 ， 这 需要 看 具体 实现 所 采取 的 策略 ， 是 同等 步 长 

地 在 多 个 数据 源 上 分 页 处 理 ， 还 是 同等 比例 地 分 页 处 理 。 同 等 步 长 的 意 
是 ， 分 页 的 每 页 中 ， 来 自 不 同 数据 源 的 记录 数 古 一 样 的 ， 同 等 比例 的 
思 是 ， 分 页 的 每 页 中 ， 来 日 不 同 数 据 源 的 数据 数 占 这 个 数据 源 符合 条 
件 的 数据 总 数 的 比例 是 一 样 的 。 举 例 说 明 如 下 。 





、 入 
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如 图 5-14 所 示 ， 假 设 我 们 有 两 个 数据 源 ， 符 合 条 件 的 记录 数 分 别 是 
16 条 和 8 条 。 如 果 进 行 每 页 4 条 数据 的 分 页 ， 则 前 面 四 页 中 会 包含 两 个 数 
据 来 源 的 各 两 条 数据 ， 到 第 五 页 和 第 六 页 时 ， 就 只 包含 第 一 个 数据 源 中 
的 数据 了 。 这 就 是 我 们 所 说 的 等 步 长 地 从 不 同 数据 源 中 获取 数据 。 图 5- 
i 

现 。 
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图 5-14 ”多 数据 源 等 步 长 合并 数据 


我 们 再 来 看 一 下 等 比例 处 理 的 情况 ， 如 图 5-15 所 示 。 数 据 源 与 图 5- 
14 中 的 相同 ， 假 设 要 进行 每 页 6 条 数据 的 分 页 ， 那 么 第 一 页 的 6 条 数据 是 
从 数据 源 1 取 4 条 ， 从 数据 源 2 取 2 条 ， 每 次 都 用 这 样 的 方式 ， 到 第 四 页 
时 ， 刚 好 把 两 个 数据 源 中 的 数据 都 取 完 了 。 可 以 看 到 ， 每 次 取 数 据 时 ， 
从 数据 源 1 和 数据 源 2 取 出 的 数量 不 同 ， 但 是 占 各 目 数 据 源 总 量 的 比例 是 
相同 的 ， 因 此 用 相同 的 次 数 完成 了 数据 的 获取 。 
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图 5-15 ”多 数据 源 等 比例 合并 数据 


(5) 排序 后 分 页 ， 这 是 把 排序 和 分 页 放 在 一 起 的 情况 ， 也 是 最 复 
杂 的 情况 ， 最 后 需要 呈现 的 结 末 是 数据 按照 茶 些 条 件 排序 并 进行 分 页 显 
示 。 我 们 的 数据 是 来 目 不 同 数据 源 的 ， 因 此 必须 把 足够 的 数据 返回 给 应 
用 ， 才 能 得 到 正确 的 结果 ， 复 杂 之 处 就 在 于 将 足够 的 数据 返 给 应 用 。 


来 看 一 下 图 5-16， 两 个 数据 源 中 符合 条 件 的 数据 已 经 排序 好 了 ， 假 
设 每 个 分 页 需要 4 条 数据 ， 那 么 从 图 中 可 以 看 到 ， 最 终 的 每 一 页 都 是 由 
两 个 数据 源 中 的 各 2 条 数据 组 成 。 那 束 是 说 ,我 们 每 一 页 都 从 两 个 数据 
源 中 各 选择 2 条 数据 束 行 了 。 不 过 ， 这 个 方法 是 不 正确 的 ， 只 是 这 个 特 
殊 的 例子 碰巧 生效 而 已 。 
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图 5-16 ”内 部 排 好 序 的 数据 源 的 数据 


看 一 下 图 5-17 的 例子 ， 排 序 合并 后 的 第 一 页 是 由 来 自 两 个 数据 源 的 
各 2 条 数据 组 成 ;排序 合并 后 的 第 二 页 是 全 部 来 自 数 据 源 1 的 4 条 数据 ; 
第 三 页 则 是 由 两 个 数据 源 的 各 2 条 数据 组 成 ， 而 第 四 页 是 由 来 自 数据 源 1 
的 1 条 数据 和 数据 源 2 的 3 条 数据 组 成 。 因 此 ， 我 们 要 从 数据 源 中 取 足 够 
多 的 数据 才能 保证 结 采 的 正确 。 


回回 加 回回 本 四 图 本 相国 本 
可耻 间 本 加固 相国 四 轩 四 加 加 


图 5-17 ”内 部 排 好 序 的 数据 源 的 数据 


在 取 第 一 页 结果 时 ， 应 该 考虑 的 最 极 问 情况 是 最 终 合并 后 的 结果 可 
能 都 来 目 一 个 数据 源 ， 所 以 我 们 需要 从 每 个 数据 源 取 足 一 页 的 数据 。 例 
如 ， 对 于 图 5-17 的 情况 ， 第 一 页 应 该 从 每 个 数据 源 取 4 条 数据 ， 然 后 把 
这 8 条 数据 在 应 用 中 进行 归并 排序 。 对 于 第 二 页 ， 不 是 把 每 个 数据 源 的 
第 二 页 取 回 来 进行 合并 排序 ， 而 是 需要 把 每 个 数据 源 的 前 两 页 也 惑 是 前 
8 条 数据 都 取 回 来 进行 归并 排序 ， 才 能 得 到 正确 的 结果 。 如 果 要 取 人 第 100 
页 的 数据 ， 就 要 从 每 个 数据 源 取 前 100 页 数据 进行 归并 排序 ， 才 能 得 到 
正确 的 结果 。 也 就 是 说 越 往 后 翻 页 ， 承 受 的 负担 越 重 。 


从 上 面 可 以 看 出 ， 排 序 分 页 是 合并 操作 中 最 复杂 的 情况 了 ， 因 此 ， 
在 访问 量 很 大 的 系统 中 ， 我 们 应 该 尽量 避免 这 种 方式 ， 尤 其 是 排序 后 需 
要 翻 很 多 页 的 情况 。 





















































5.2 ”数据 访问 层 的 设计 与 实现 


数据 访问 层 就 是 方便 应 用 进行 数据 读 / 写 访问 的 抽象 屋 ， 我 们 在 这 
个 层 上 解决 各 个 应 用 通用 的 访问 数据 库 的 问题 。 在 分 布 式 系统 中 ， 我 们 
也 把 数据 访问 层 称 为 分 布 式 数据 访问 层 ， 有 时 也 简称 为 数据 层 。 

日 Mp NA My | 
5.2.1 ”如 何 对 外 提供 数据 访问 层 的 功 


人 已 
目 忆 











5.2.1.1 ”对 外 提供 数据 访问 层 的 方式 


数据 层 负 责 解决 应 用 访问 数据 库 的 各 种 共性 问题 ， 那 么 数据 层 会 以 
怎样 的 方式 呈现 给 应 用 呢 ? 


第 一 种 方式 是 为 用 户 提供 专 有 API， 不 过 这 种 方式 是 不 推荐 的 ， 它 
的 通用 性 很 差 ， 甚 至 可 以 说 没有 通用 性 。 一 般 来 说 采用 这 种 方式 是 为 了 
便于 实现 功能 ， 或 者 这 种 方式 对 一 些 通用 接口 方式 有 比较 大 的 改动 和 扩 
展 。 笔 者 的 第 一 个 版 本 的 数据 层 束 及 用 了 专 有 API 的 方式 ， 当 时 使 用 专 
有 API 是 因为 它 便 于 实现 功能 ， 当 时 通过 专 有 API 让 使 用 者 传递 了 比较 
多 的 信息 ， 也 通过 API 中 的 参数 把 SQL 的 组 成 部 分 比较 显 式 地 区 分 开 
来 ， 纸 过 了 SQL 的 实现 。 即 便 采 用 专 有 API 方 式 ， 很 多 系统 也 会 同时 提 
供 通用 的 访问 方式 〈 见 下 文 ) ， 以 便于 应 用 的 使 用 和 切换 。 


第 二 种 方式 是 通用 的 方式 。 在 Java 应 用 中 一 般 是 通过 JDBC 方 式 访 
问 数据 库 ， 数 据 层 自 映 可 以 作为 一 个 JDBC 的 实现 ， 也 就 是 暴露 出 JDBC 
的 接口 给 应 用 ， 这 时 应 用 的 使 用 成 本 就 很 低 了 ， 和 使 用 远程 数据 库 的 
JDBC 驱 动 的 方式 是 一 样 的 ， 迁 移 成 本 也 非常 低 。 


还 有 一 种 方式 是 基于 ORM 或 类 ORM 接 口 的 方式 ， 可 以 说 这 种 方式 
介 于 上 面 两 种 方式 之 间 。 应 用 为 了 开发 的 高 效 和 便捷 ， 在 使 用 数据 库 时 


























一 般 会 使 用 ORM 或 类 ORM 框 架 ， 例 如 iBatis、hibernate、Spring JDBC 
等 ， 我 们 可 以 在 自己 应 用 使 用 的 ORM 框 架 上 再 包装 一 层 ， 用 来 实现 数 
据 层 的 功能 ， 对 外 暴露 的 仍然 是 原来 框架 的 接口 。 这 样 的 做 法 对 于 某 些 
功能 来 说 实现 成 本 比较 低 ， 并 且 在 兼容 性 方面 有 一 定 的 优势 ， 例 如 原来 
系统 都 用 iBatis 的 话 ， 对 于 应 用 来 说 ，iBatis 之 上 的 封装 就 比较 透明 了 。 


图 5-18 展 示 了 以 上 三 种 方式 的 结构 ， 从 左 到 右 依次 是 采用 数据 层 专 
有 有 API 方式、 采用 JDBC 方 式 ， 以 及 基于 某 个 ORM/ 类 ORM 接 口 的 方式 。 
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ORM/ 类 ORM 接 口 














图 5-18 不 同 接口 数据 层 的 结构 


从 图 5-18 中 也 可 以 看 出 ， 通 过 JDBC 方 式 使 用 的 数据 层 是 兼容 性 和 
扩 展 性 最 好 的 ， 实 现成 本 上 也 是 相对 最 高 的 。 底 层 封 装 了 某 个 ORM 框 
架 或 者 类 ORM 框 架 的 方式 具备 一 定 的 通用 性 (不 能 提供 给 男 外 的 ORM/ 
类 ORM 框 架 用 ) ， 实 现成 本 相对 JDBC 接 口 方 式 的 要 低 。 而 采用 专 有 
API 的 方 式 是 在 特定 场景 下 的 选择 。 


除了 对 外 提供 接口 的 方式 的 差别 ， 在 具体 场景 的 实现 上 也 会 有 差 
别 ， 从 图 5-18 中 可 以 很 清楚 地 看 到 ， 专 有 API 的 方式 和 对 外 提供 JDBC 接 
口 的 方式 都 直接 使 用 了 下 层 数 据 库 提供 的 JDBC 驱 动 ， 因 此 更 加 灵活 ， 
而 基于 ORM/ 类 ORM 框 染 的 方式 则 在 数据 层 和 JDBC 了 驱动 之 间隔 了 一 个 
第 三 方 的 ORM/ 类 ORM 框 架 ， 这 在 有 些 场景 下 会 造成 一 些 影响 。 























5.2.1.2 ”不同 提 供 方 式 之 则 在 合并 查询 场景 下 的 对 


比 


我 们 来 回顾 一 下 分 库 分 表 后 的 排序 分 页 的 场景 ， 我 们 需要 从 多 个 数 
据 源 取 足 够 的 数据 ， 然 后 才能 在 应 用 中 进行 归并 排序 。 对 于 前 面 的 第 三 
种 方式 ， 需 要 通过 ORM/ 类 ORM 框 如 才 能 得 到 数据 源 的 数据 ， 在 这 种 情 
况 下 ， 我 们 残 需 要 把 足够 多 的 数据 部 加 载 到 内 存 中 。 例 如 ， 我 们 有 两 个 
数据 源 ， 要 做 一 个 分 页 查询 ， 每 页 20 条 数据 ， 这 时 如 果 碍 看 第 10 页 的 
话 ， 就 需要 取 回 400 条 数据 并 生成 Java 对 象 ， 然 后 进行 归并 排序 ， 丢 奔 
不 需要 的 数据 。 


相对 于 在 ORM/ 类 ORM 框 架 之 上 的 实现 ， 专 有 API 方 式 和 JDBC 方 式 
都 要 与 数据 库 的 JDBC 了 驱动 直 接 打 交道 ， 而 且 为 了 得 到 正确 的 排序 分 页 
结果 也 需要 获取 足够 的 数据 ， 但 是 和 使 用 ORM/ 类 ORM 框 架 不 同 的 是 ， 
0 数据 都 获取 到 应 用 端 并 生成 对 应 的 Java 
对 象 。 


我 们 再 看 一 下 刚才 的 示例 数据 《〈 如 图 5-19 所 示 ) ， 假 设 每 页 要 显示 
4 条 数据 。 如 果 采 用 ORM/ 类 ORM 框 架 的 方式 ， 获 取 第 一 页 时 ， 需 要 从 
数据 源 1 获 取 1,3,5,7， 从 数据 源 2 获 取 2,4,9,11， 这 8 个 数据 都 会 从 数据 库 
中 返回 并 生成 对 应 的 对 象 ， 进 行 归并 排序 后 ， 技 弃 4 个 不 需要 的 对 象 。 


和 ?和 加 本 加 器 器 本 国 四 加 四 加 加 加 
站 四 四 四 四 四 四 四 四 本 四 轩 回 


图 5-19 ”内 部 排 好 序 的 数据 源 的 数据 


如 果 采 用 JDBC 的 方式 访问 ， 我 们 只 需要 生成 1,3 和 2,4 这 4 个 对 象 就 
行 了 ， 而 且 如 果 运 气 好 的 话 ， 从 数据 库 传 回 来 的 对 象 也 会 少 ， 具 体 取决 
于 batch size 的 大 小 设置 (batch size 是 指 JDBC 驱 动 实 现时 设置 的 每 次 从 
数据 库 返 回 的 记录 数 ， 要 考虑 平衡 网 络 的 开销 。 如 果 设 置 为 1， 则 每 次 
要 获取 下 一 条 数据 时 都 需要 与 数据 库 通信 一 次 ;， 如果 设 置 得 大 一 些 ， 则 
一 次 会 取 回 多 条 记录 ， 减 少 了 跟 数 据 库 交互 的 次 数 ) 。 如 果 我 们 设置 
batch size 的 值 为 1， 那 么 一 共 只 取 4 条 数据 束 行 了 : 如 果 设 置 为 2， 在 这 
个 例子 中 也 只 是 取 4 条 数据 就 行 了 。 因 为 我 们 直接 使 用 JDBC， 所 以 可 以 
对 多 个 数据 源 使 用 数据 结构 中 对 两 个 有 序 链表 进行 合并 排序 的 方式 ， 而 
且 无 论 数据 如 何 分 布 ， 我 们 最 多 只 会 浪费 一 个 生成 的 对 象 。 在 实际 中 ， 



























































每 页 都 会 有 数 十 条 数据 ， 在 获取 后 面 页 的 内 容 时 ， 直 接 基于 JDBC 的 优 
势 是 比较 明显 的 。 


此 外 ， 使 用 ORM/ 类 ORM 框 染 可 能 会 有 一 些 框架 自身 的 限制 带 来 困 


难 。 例 如 ， 使 用 iBatis 的 同时 想 去 动态 改动 SQL 束 会 比较 困难 ， 而 这 在 
直接 基于 JDBC 了 驱动 方式 的 实现 中 就 没有 那么 困难 。 


5.2.2 ”按照 数据 层 流程 的 顺序 看 数据 


层 设计 


接 下 来 我 们 先 看 一 下 数据 层 整 体 的 流程 ， 如 图 5-20 所 示 ， 我 们 在 执 
行 数据 库 操 作 时 大 致 是 按照 图 中 所 示 的 几 个 步骤 进行 的 。 


























图 5-20 ”数据 层 的 整理 流程 











5.2.2.1 SQL 解析 阶段 的 处 理 





在 具体 实践 中 ，SQL 解 析 主 要 考虑 的 问题 有 两 个 。 一 是 对 SQL 文 持 
的 程度 ， 是 否 需 要 文 持 所 有 的 SQL， 这 需要 根据 具体 场景 来 做 决定 ;二 
古文 持 多 少 SQL 的 方言 ， 对 于 不 同 三 商 超 出 标准 SQL 的 部 分 要 支持 多 
少 。 这 些 问 题 没有 标准 答案 ， 需 要 根据 实际 情况 去 做 选择 。 


具体 解析 时 是 使 用 antlr、javacc 还 是 其 他 工具 ， 就 看 自己 的 选择 
了 ， 当 然 也 可 以 自己 手写 。 


在 进行 SQL 解析 时 ， 对 于 解析 的 缓存 可 以 提升 解析 速度 。 当 然 需要 























注意 缓存 的 容量 限制 ， 一 般 系 统 中 执行 的 SQL 数 量 相对 可 控 ， 不 过 为 了 
安全 ， 解 析 的 缓存 需要 加 上 数量 上 限 。 


通过 SQL 解析 可 以 得 到 SQL 中 的 关键 信息 ， 例 如 表 名 、 字 段 、 
where 条 件 等 。 而 在 数据 层 中 ， 一 个 很 重要 的 事情 是 根据 执行 的 SQL 得 
到 被 操作 的 表 ， 根 据 参数 及 规则 来 确定 目标 数据 源 连 接 。 


这 一 部 分 也 可 以 通过 提示 (Chint) 的 方式 实现 ， 该 方式 会 把 一 些 要 
系 耳 接 传 进来 ， 而 个 用 去 解析 整个 SQL 语 名 。 使 用 这 种 万 式 的 一 般 情 况 
XE : 








。 SQL 解析 并 不 完备 〈 这 一般 是 在 发 展 过 程 中 遇 到 的 问题 ) 。 
。 SQL 中 不 带 有 分 库 条 件 ， 但 实际 上 是 可 以 明确 指定 分 库 的 。 
通过 SQL 解析 或 者 提示 方式 得 到 了 相关 信息 后 ， 下 一 步 就 是 进行 规 
则 处 理 ， 从 而 确定 要 执行 这 个 SQL 的 目标 库 。 








5.2.2.2 ”规则 处 理 阶 段 


1. 采用 固定 哈 布 算法 作为 规则 





固定 哈 希 的 方式 为 ， 根 据 茶 个 字段 〈 例 如 用 户 id) 取 模 ， 然 后 将 数 
所 分 散 到 不 同 的 数据 库 和 表 中 。 除 了 根据 id 取 模 ， 还 经 常会 根据 时 间 维 
度 ， 例 如 天 、 星 期 、 月 、 年 等 来 存储 数据 ， 这 一 般 用 于 数据 产生 后 相关 
日 期 不 进行 修改 的 情况 ， 否 则 惑 要 涉及 数据 移动 的 问题 了 。 根 据 时 间 取 
模 多 用 在 日 志 类 或 者 其 他 与 时 间 维 度 密切 相关 的 场景 。 通 前 将 周期 性 的 
in 
喝 。 


来 看 一 下 根据 id 取 模 的 例子 ， 如 图 5-21 所 示 。 

















图 5-21 根据 id 取 模 的 例子 


图 5-21 展 示 的 就 是 固定 哈 希 方式 的 分 库 方法 ， 如 果 又 要 分 表 ， 则 可 
以 按照 如 图 5-22 来 做 ， 如 下 。 





Table1 
(id mod 4 = 0) 


(id mod 4= 1) 
Table2 
(id mod 4 = 3) 


图 5-22 ”根据 id 分 库 分 表 的 例子 











从 图 5-22 中 可 以 看 到 ， 我 们 把 数据 分 到 了 两 个 数据 库 的 四 张 表 里 ， 
首先 通过 模 2 (mod 2) 确定 了 数据 的 分 库 ， 然 后 通过 模 4 (mod 4) 进行 
了 数据 库 内 部 的 分 表 。 这 个 过 程 也 可 以 做 一 些 变化 ， 如 图 5-23 所 示 。 


Table1 
(id mod 4=0) 


Table2 
(lid mod 4= 1) 





Table1 
(lid mod 4 = 2) 


Table2 
(lid mod 4 = 3) 


图 5-23 ”通过 id 分 库 分 表 的 例子 (方式 2) 


同样 是 分 为 两 个 库 四 张 表 ， 不 同 的 是 这 里 直接 通过 模 4 (mod 4) 来 
确定 了 分 库 ， 把 模 4 结 果 为 0O 和 1 的 放 在 dbl1， 然 后 把 模 4 结 果 为 2 和 3 的 放 
在 db2， 这 样 得 到 的 最 终 数据 的 布局 与 前 面 一 种 不 同 。 至 于 要 怎么 分 布 
数据 就 要 看 业务 需要 了 。 固 定 哈 希 的 规则 设置 和 实现 都 很 简单 ， 不 过 如 
果 扩 容 的 话 就 会 比较 复杂 。 例 如 上 面 的 例子 ， 如 果 从 原来 的 两 个 库 四 张 
表 扩 容 到 三 个 库 六 张 表 的 话 ， 那 么 只 有 那些 id 模 4 的 结果 和 id 模 6 的 结果 
相同 的 数据 不 用 迁移 ， 其 他 的 数据 都 要 迁移 (大 约 有 2/3 的 数据 要 迁 


移 ) 。 


idmod2>=1 














2. 一致 性 哈 希 算法 带 来 的 好 处 


一 致 性 哈 希 〈Consistent Hashing) ， 是 MIT 的 Karger 及 其 合作 者 在 
1997 年 发 表 的 学 术 论 文中 提出 的 ， 很 多 做 分 布 式 系统 的 读者 是 在 
的 dynamo 论 文中 了 解 到 一 致 性 哈 希 的 。 图 5-24 展 示 了 一 致 性 哈 


一 致 性 哈 希 所 带 来 的 最 大 变化 是 把 节点 对 应 的 哈 希 值 变 为 了 一 个 范 
围 ， 而 不 再 是 离散 的 。 在 一 致 性 哈 希 中 ， 我 们 会 把 整个 哈 希 值 的 范围 定 
义 得 非常 大 ， 然 后 把 这 个 范围 分 配给 现 有 的 节点 。 如 果 有 节点 加 入 ， 那 
么 这 个 新 节点 会 从 原 有 的 某 个 节点 上 分 管 一 部 分 范围 的 哈 希 值 ， 如 果 有 
节点 退出 ， 那 么 这 个 节点 原来 管理 的 哈 希 值 会 给 它 的 下 一 个 节点 来 管 
































理 。 假 设 哈 希 值 范围 是 从 0 到 100， 共 有 四 个 节点 ， 那 么 它们 管理 的 范围 
分 别 是 [0，25) 、 [25，50) 、 [50，75) 、 [75，100] 。 如 果 第 二 
个 节点 退出 ， 那 么 剩 下 节点 管理 的 范围 就 变 为 [0，25) 、 [25， 
75) 、[75，100] ， 可 以 看 到 ， 第 一 个 和 第 四 个 节点 管理 的 数据 没 影 
啊 ， 而 第 三 个 节点 原来 所 管理 的 数据 也 没有 影响 ， 只 需要 把 第 二 个 节点 
负责 的 数据 接管 过 来 就 行 了 。 如 果 是 增加 一 个 节点 ， 例 如 在 第 二 个 和 第 
三 个 节点 之 间 增 加 一 个 ， 则 这 五 个 节点 所 管理 的 范围 变 为 [0，25) 、 
[25，50) 、 [50，63) 、 [63，75) 、 [75，100] ， 可 以 看 到 ， 第 
= 和 四 个 叶 所 没有 溉 影响 > 第 三 小 胡 训 有 郭 分 数据 也 没 营 
影响 ， 另 一 部 分 数据 要 给 新 增 的 节点 来 管理 。 
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图 5-24 ”一致 性 哈 希 


读者 可 能 从 增加 市 点 和 减少 市 点 的 例子 中 和 觉察 到 了 问题 ， 新 增 一 个 
节点 时 ， 除 了 新 增 的 节点 外 ， 只 有 一 个 市 反 受 影响 ， 这 个 新 增 市 点 和 受 
影响 的 节操 的 负载 是 明显 比 其 他 节操 低 的 ; 减少 一 个 节点 时 ， 除 了 减 去 
的 节点 外 ， 只 有 一 个 节点 受 影响 ， 它 要 承担 自己 原来 的 和 减 去 的 节点 的 
工作 ， 压 力 明 显 比 其 他 节点 要 高 。 这 似乎 要 增加 一 倍 市 点 或 减 去 一 半 蔬 
二 
“明显 了 。 















3. 虚拟 节 反 对 一 致 性 哈 希 的 改进 


为 了 应 对 上 述 问 题 ， 我 们 引入 虚拟 市 点 的 概念 。 即 4 个 物理 布点 可 
以 变 为 很 多 个 虚拟 节点 ， 每 个 虚拟 节点 文 持 连续 的 哈 硕 环 上 的 一 段 。 而 
这 时 如 果 加 入 一 个 物理 节点 ， 束 会 相应 加 入 很 多 虚拟 节点 ， 这 些 新 的 虚 
拟 节 点 是 相对 均匀 地 插入 到 整个 哈 希 环 上 的 ， 这 样 ， 惑 可 以 很 好 地 分 担 
现 有 物理 节 扣 的 压力 了 ; 如 果 减 少 一 个 物理 节点 ， 对 应 的 很 多 虚拟 市 点 
束 会 失效 ， 这 样 ， 束 会 有 很 多 剩余 的 虚拟 市 点 来 承担 之 前 虚拟 闻 扣 的 工 
作 ， 但 是 对 于 物理 节点 来 说 ， 增 加 的 负载 相对 是 均衡 的 。 所 以 可 以 通过 
一 个 物理 布点 对 应 非常 多 的 虚拟 市 把 ， 并 且 同 一 个 物理 布点 的 虚拟 节点 
尽量 均匀 分 布 的 方式 来 解决 增加 或 减少 市 点 时 负载 不 均衡 的 问题 。 






































4. 映射 表 与 规则 目 定 义 计算 方式 








映射 表 是 根据 分 库 分 表 字 段 的 值 的 查 表 法 来 确定 数据 源 的 方法 ， 一 
般 用 于 对 热点 数据 的 特殊 处 理 ， 或 者 在 一 些 场景 下 对 不 完全 符合 规律 的 
规则 进行 补充 。 第 见 的 情况 是 以 前 面 的 方式 为 基础 ， 配 合 映射 表 来 用 。 


最 后 要 介绍 的 规则 上 自 定 义 计 算 方式 是 最 灵活 的 方式 ， 它 已 经 不 算是 
以 配置 的 方式 来 做 规则 了 ， 而 是 通过 比较 复杂 的 函数 计算 来 解决 数据 访 
问 的 规则 问题 ， 可 以 次 是 扩展 能 力 最 强 的 一 种 方式 。 我 们 可 以 通过 上 自 定 
义 的 函数 实现 来 计算 最 终 的 分 库 。 


举例 来 说 ， 假 设 根据 id 取 模 分 成 了 4 个 库 ， 但 是 对 于 一 些 热点 id， 我 
们 而 望 将 其 独立 到 另外 的 库 ， 那 么 通过 类 似 下 面 的 表达 式 就 可 以 完成 : 

















if (id in hotset)t{ 
return 4; 


return id%4; 


5.2.2.3 ”为 什么 要 改写 SQL 





前 面 介 绍 了 规则 对 分 库 分 表 的 文 持 ， 如 何 设 定 规则 ， 也 惑 是 如 何 分 
库 分 表 ， 没 有 绝对 统一 的 原则 ， 一 般 的 标准 是 分 库 后 尽 可 能 避免 跨 库 得 
询 。 这 里 我 们 举 一 个 商品 的 例子 ， 如 表 5-2 所 示 。 














表 5-2 商品 信息 表示 例 








从 上 面 的 结构 可 以 看 到 ， 我 们 可 以 根据 商品 Id 分 库 ， 不 论 是 取 模 的 
方式 还 是 一 致 性 哈 希 的 方式 都 可 以 实现 ， 不 过 带 来 的 一 个 问题 是 ， 同 一 
个 卖家 的 商品 可 能 会 分 在 多 个 库 里 面 ， 如 果 要 从 数据 库 中 获取 同一 个 卖 
家 的 商品 就 要 跨 库 。 


我 们 也 可 以 按照 卖家 Id 来 分 库 ， 这 样 可 以 保证 同一 个 卖家 的 商品 在 
一 个 数据 库 里 面 。 但 是 如 果 要 根据 商品 Id 进行 商品 查询 就 及 烦 了 ， 因 为 
只 有 商品 Id 是 不 能 确定 这 个 商品 在 哪个 数据 库 中 的 ， 还 需要 卖家 Id 或 者 
其 他 的 标志 才 可 以 确定 。 有 具体 采用 哪 种 标准 来 分 库 需 要 根据 具体 的 需求 
和 相关 系统 进行 综合 考虑 。 


对 于 应 用 给 数据 层 执 行 的 SQL， 除 了 根据 规则 确定 数据 源 外 ， 我 们 
可 能 还 需要 修改 SQL。 为 什么 要 修改 呢 ? 


想 想 我 们 过 到 的 问题 ， 我 们 的 数据 表 从 原来 单 库 单 表 变 为 了 多 库 多 
表 ， 这 些 分 布 在 不 同 数据 库 中 的 表 的 结构 一 样 ， 但 是 表 名 未 必 一 模 
样 。 如 果 把 原来 的 表 分 布 在 多 库 且 每 个 库 都 只 有 一 个 表 的 话 ， 那 么 这 些 
表 是 可 以 同名 的 ， 但 是 如 果 单 库 中 不 止 一 个 表 ， 那 就 不 能 用 同样 的 名 
字 ， 一 般 是 在 逻辑 表 名 后 面 增加 后 经， 例如 原来 的 表 名 为 User， 那 么 分 
库 分 表 后 的 表 就 可 以 命名 为 User_ 1、User_2 等 。 


在 命名 表 时 有 一 个 需要 做 出 选择 之 处 ， 就 是 不 同 库 中 的 表 名 是 否 要 
一 样 ? 如 果 每 个 表 的 名 字 都 是 唯一 的 ， 看 起 来 似乎 不 太 优 雅 ， 但 是 可 以 
6 5 00 
1 。 






































除了 修改 表 名 ，SQL 的 一 些 提示 中 用 到 的 索引 名 等 ， 在 分 库 分 表 时 
0 0 
子 。 











另外 ， 还 有 一 个 需要 修改 SQL 的 地 方 ， 就 是 在 进行 跨 库 计算 平均 值 
的 时 候 ， 不 能 从 多 个 数据 源 取 平 均值 ， 再 计算 这 些 平均 值 的 平均 值 ， 而 
必须 修改 SQL 获取 到 数量 、 总 数 后 再 进行 计算 。 


对 于 没有 经 过 SQL 解析 的 SQL， 在 进行 SQL 蔡 换 时 要 特别 注意 ， 需 
要 对 各 种 情况 全 面 思考 ， 不 要 产生 错误 的 替换 。 





5.2.2.4 ”如何 选择 数据 源 





一 点 说 应 该 是 规则 可 以 帮助 确定 一 组 数据 源 ， 而 在 这 里 需要 确定 是 具体 
的 某 个 数据 源 。 


如 图 5-25 所 示 ， 在 User 经 历 了 分 库 分 表 后 ， 我 们 会 给 分 库 后 的 库 都 
提供 备 库 ， 也 就 是 原来 的 一 个 数据 库 会 变 为 一 个 数据 库 的 矩阵 了 。 分 库 
是 把 数据 分 到 了 不 同 的 数据 分 组 中 。 我 们 决定 了 数据 分 组 后 ， 还 需要 决 
定 访问 分 组 中 的 哪个 库 。 这 些 库 一 般 是 一 写 多 读 的 (也 有 多 写 多 读 
的 ) ， 根 据 当前 要 执行 的 SQL 特点 〈 读 、 写 ) 、 是 否 在 事务 中 以 及 各 个 
库 的 权重 规则 ， 计 算得 到 这 次 SQL 请 求 要 访问 的 数据 库 。 








UsEr User UsEr 


User 3 User 3 User 3 
Master Slave Slave 
User_ User_ User_ 
User 4 User_4 User 4 
Master Slave Slave 


图 5-25 ”分 库 分 表 后 的 结构 


5.2.2.5 ”执行 SQL 和 结果 处 理 阶段 


接 下 来 是 SQL 的 执行 和 执行 结果 的 处 理 。 在 SQL 执 行 的 部 分 ， 比 较 


重要 的 是 对 异 第 的 处 理 和 判断 ， 需 要 能 够 从 异常 中 明确 判断 出 数据 库 不 
可 用 的 情况 。 而 关于 执行 结果 的 处 理 ， 在 之 前 一 些 特殊 情况 中 都 已 经 提 
及 ， 这 里 不 再 重复 了 。 





5.2.2.6 ”实战 经 验 分 享 


1. 复杂 的 连接 管理 





前 面 介绍 了 SQL 的 执行 ， 而 在 数据 层 的 实现 中 ， 除 了 顺序 地 看 到 
SQL 的 执行 外 ， 连 接管 理 方面 也 是 非常 复杂 的 。 


下 面 的 代码 是 使 用 JDBC 进 行 SQL 操作 的 一 个 简单 示例 代码 ， 其 中 
没有 考虑 处 理 异 第 的 情况 。 我 们 在 前 面 看 到 的 从 SQL 解析 开始 的 执行 ， 
其 实 只 相当 于 这 段 代 码 中 executeQuery 的 部 分 ， 而 在 执行 前 生成 的 
Connection 对 象 、PreparedStatement 对 象 都 是 数据 层 自 己 的 实现 。 这 些 实 
现 都 需要 遵守 JDBC 的 规范 ， 有 具体 的 实现 还 是 很 有 挑战 的 。 





String sql = "select name from user where id = ?2"， 
Connection conn = this.getConnection(); 
PreparedStatement ps = conn.prepareStatement(sq1); 
ps.setInt(1, 11); 

ResultSet rs = ps.executeQuery(); 

ps.close( ); 

conn.close( ) ; 


在 上 面 的 代码 中 ， 我 们 是 直接 执行 一 个 PreparedStatement 的 方法 ， 
得 到 结果 后 就 结束 了 。 而 在 另 一 些 事务 场景 下 会 执行 多 个 
PreparedStatement 方 法 ， 这 要 求 在 PreparedStatement 有 具体 执行 SQL 时 ， 需 
要 从 Connection 对 象 中 获取 同样 的 连接 ， 并 且 如 果 连 接 有 问题 要 报错 。 
也 束 是 说 需要 对 异常 的 情况 有 全 面 的 考虑 ， 而 这 些 也 是 我 们 选择 对 外 雄 
露 JDBC 接 口 的 一 个 代价 。 














2. 三 层 数 据 源 的 支持 和 选择 


对 于 Java 应 用 引入 数据 源 的 情况 ， 我 们 一 般 会 采用 Spring 做 如 下 的 


配置 : 
<bean id = "dataSource"class = "org.apache.commons.dbcp.Basic 
destroy-method = "close"> 
<property name = "driverClassName"value = "com.mysdqdl.jdbc 
<property name = "url"value = "jdbc:mysql://localhost:330 
<property name = "username"value = "test"/> 
<property name = "password"value = "test"/> 


</bean> 


上 面 是 使 用 Apache ”BasicDataSource 的 一 个 具体 例子 ， 数 据 层 是 从 
DataSource 接 口 开 始 和 应 用 对 接 。 除 了 前 面 的 Connection、 
PreparedStatement、Connection 对 象 外 ， 还 需要 实现 一 个 DataSource 对 


象 ， 如 图 5-26 所 示 。 


DataSource 

















图 5-26 管理 整个 分 库 的 数据 源 


在 图 5-26 中 ，DataSource 管 理 了 分 库 以 后 的 整体 的 数据 库 ， 或 者 说 
管理 了 数据 库 集群 。 在 这 个 DataSource 的 实现 中 ， 完 成 了 前 面 介绍 的 数 
据 层 的 全 部 工作 。 


在 使 用 上 ，PDataSource 可 以 通过 Spring 的 方式 配置 到 应 用 中 ， 蔡 换 
掉 前 面 代码 中 的 BasicDataSoure。 从 前 面 的 例子 看 到 ， 配 置 DataSource 需 
要 设置 数据 库 的 驱动 (决定 了 数据 库 的 类 型 ， 例 如 ， 是 MySQL 还 是 
Oracle 或 者 其 他 的 数据 库 ) ， 以 及 数据 库 的 地 址 、 端 口 等 连接 用 信息 ， 
此 外 还 要 设置 用 户 名 和 密码 。 


如 果 使 用 这 个 数据 层 的 DataSource， 可 能 就 需要 如 下 配置 : 














<bean id = "dataSource"class = "org.vanadies.ddal. DataSource 
































destroy-method = "close"> 
<bean class = "org.vanadies.ddal.RuleManager"> 
<!-- 根 据 不 同 的 规则 管理 实现 ， 会 有 不 同 的 属性 设置 
=> 
</bean> 
<property name = "dsList"> 
<list> 
<bean class = "org.vanadies.ddal.DbInfo"> 
<property name = "driverClassName"value = "com.mysql.jdbc.Dri 
<property name = "url"value = "jdbc:mysql://localhos 
<property name = "username"value = "test"/> 
<property name = "password"value = "test"/> 
<property name = "id"value = "User1i-M/"> 
<property name = "type"value = "master"/> 
</bean> 
<bean class = "org.vanadies.ddal.DbIinfo"> 
<property name = "driverClassName"value = "com.mysql.jdbc.Dri 
<property name = "url"value = "jdbc:mysql://localhost: 
<property name = "username"value = "test"/> 
<property name = "password"value = "test"/> 
<property name = "id"value = "User1-S/"> 
<property name = "type"value = "slave"/> 
</bean> 
</list> 
</property> 
</bean> 


上 面 的 配置 信息 是 DataSource 所 需 的 信息 。 可 以 看 到 ， 配 置 还 是 比 
较 多 的 ， 而 且 这 里 仅 配 置 了 两 个 库 ， 在 真实 场景 中 ， 分 库 后 的 数据 库 节 
点 数量 一 般 都 远 超 两 个 ， 配 置 量 会 非常 大 。 从 工程 角度 来 看 ， 我 们 可 以 
把 上 面 的 driverClassName、username 和 password 抽 取出 来 ， 做 成 一 个 公 
共 配 置 ， 当 然 这 会 要 求 同 一 个 业务 的 分 库 选 择 同 样 的 数据 库 “〈 一 般 都 符 
合 ， 不 过 在 系统 迁移 或 者 更 换 不 同类 型 DB 的 过 渡 期 ， 可 能 会 有 所 不 
同 ) ， 设 置 同样 的 用 户 名 和 密码 。 


即便 简化 了 配置 ， 这 样 的 方式 还 是 有 不 足 的 地 方 ， 即 这 个 配置 在 所 
有 用 到 这 个 数据 库 集群 的 地 方 都 有 一 份 ， 如 果 发 生变 动 ， 更 新 会 比较 麻 
烦 。 在 具体 工程 实践 上 ， 可 以 把 配置 集中 在 一 个 地 方 管理 ， 这 样 使 用 配 
置 的 应 用 就 可 以 去 配置 管理 中 心 获 取 具 体 配 置 内 容 ， 修 改 时 只 需要 修改 
0 
市 中 介绍 。 

















这 个 管理 了 整个 业务 的 数据 库 集 群 的 DataSource 看 起 来 是 比较 优雅 
的 ， 是 一 个 all-in-one 的 解决 方案 。 但 是 在 具体 场景 中 ， 可 能 会 比较 重 
(不 够 轻 量 级 ) ， 业 务 应 用 没有 其 他 的 选择 ， 只 能 要 么 使 用 数据 层 的 所 
有 功能 ， 要 么 束 不 用 数据 层 。 大 家 再 看 看 前 面 数 据 库 集群 的 图 ， 我 们 是 
可 以 对 这 个 完整 的 DataSource 的 功能 进行 分 层 的 ， 如 图 5-27 所 示 。 


groupDataSource 
DbGroup2 
groupDataSource 


图 5-27 管理 分 库 后 的 读 / 写 库 的 数据 源 


在 图 5-27 中 ， 我 们 对 原来 的 6 个 分 库 进 行 了 分 组 ， 将 管理 同样 数据 
的 数据 库 分 在 一 个 组 ，User 分 为 了 Userl1 和 User2， 其 中 User1-M 与 User1- 
S1、User1-S2 所 管理 的 数据 是 相同 的 (这 里 不 考虑 数据 复制 产生 的 延 
迟 ) ， 只 是 角色 不 同 ( 读 / 写 、 主 / 备 的 差异 ) 。User2-M、User2-S1、 
User2-S2 是 类 似 的 关系 。 


这 里 我 们 引入 了 groupDataSource， 也 就 是 分 组 的 DataSource， 用 于 
管理 整个 业务 数据 库 集群 中 的 一 组 数据 库 。 从 图 5-27 可 以 看 到 ， 
groupDataSource 相 对 于 完整 的 DataSource 来 说 ， 可 以 不 管理 具体 的 规 
则 ， 也 可 以 不 进行 SQL 解析 。 它 是 作为 一 个 相对 基础 的 数据 源 提供 给 业 
务 的 ， 那 么 ，groupDataSource 重 点 解决 的 问题 是 什么 呢 ? 是 在 要 访问 这 
个 分 组 中 的 数据 库 时 ， 解 决 具体 访问 数据 库 的 选择 问题 ， 具 体 的 选择 策 
略 是 groupDataSource 要 完成 的 重点 工作 ， 包 括 根 据 事务 、 读 / 写 等 特性 
选择 主 备 ， 以 及 根据 权重 在 不 同 的 库 间 进 行 选择 ， 我 们 来 看 
groupDataSource 的 配置 。 
















































<bean id = "groupDataSourcei"class = "org.vanadies.ddal. Grou 
destroy-method = "close"> 
<property name = "dsList"> 


<list> 


<bean class = "org.vanadies.ddal.DbInfo"> 
<property name = "driverClassName"value = "com.mysql.jdbc.Dri 
<property name = "url"value = "jdbc:mysql://localhost: 
<property name = "username"value = "test"/> 
<property name = "password"value = "test"/> 
<property name = "id"value = "User1i-M/"> 
<property name = "type"value = "master"/> 
</bean> 
<! 一 同 组 其 他 数据 库 配 置 - -> 
</list> 
</property> 
<bean id = "groupDataSource2"class = "org.vanadies.ddal. Grou 
destroy-method = "close"> 
<property name = "dsList"> 
<list> 
<bean class = "org.vanadies.ddal.DbInfo"> 
<property name = "driverClassName"value = "com.mysql.jdbc.Dri 
<property nam 
<property name = "username"value = "test"/> 
<property name = "password"value = "test"/> 
<property name = "id"value = "User2-M"/> 
<property name = "type"value = "master"/> 
</bean> 
<! 一 同 组 其 他 数据 库 配 置 - -> 
</list> 
</property> 
</bean> 


从 上 面 的 配置 可 以 看 到 ， 在 Spring 中 关于 groupDataSource 的 配置 已 
经 不 需要 配置 规则 相关 的 部 分 了 ， 而 对 数据 库 上 自身 的 配置 与 之 前 是 类 似 
的 ， 并 且 是 通过 Spring 配 置 了 多 个 groupDataSource 给 应 用 ， 也 就 是 说 应 
用 完全 知道 有 几 个 数据 库 分 组 ， 并 且 在 应 用 内 部 决定 了 数据 访问 应 该 走 
《例如 查询 合并 ) ， 是 需要 应 用 自己 
来 解决 的 。 


看 了 这 两 个 层面 上 的 DataSource， 读 者 应 该 会 发 现 ， 如 果 采 用 完整 
的 DataSource， 对 于 应 用 来 说 只 会 看 到 一 个 DataSource， 可 以 少 关 心 很 
多 事情 ， 不 过 可 能 会 受到 DataSource 本 身 的 限制 ， 如 果 采 用 
groupDataSource 会 有 更 大 的 上 自主 权 。 如 果 采 用 完整 DataSource， 对 于 后 
端 业 务 的 数据 库 集群 的 管理 会 更 方便 ， 例 如 我 们 可 以 进行 一 些 扩容 、 缩 
容 的 工作 而 不 需要 应 用 太 多 的 感知 ， 而 使 用 groupDataSource 就 意味 着 绑 
定 了 分 组 数量 ， 这 样 要 进行 扩容 、 缩 容 时 是 需要 应 用 进行 较 多 配合 的 。 


























虽然 使 用 groupDataSource 不 能 进行 整体 的 扩容 、 绾 容 ， 但 是 可 以 进行 组 
内 的 扩容 、 缩 容 、 主 备 切换 等 工作 ， 这 也 是 groupDataSource 最 大 的 价 
值 。 在 一 些 活动 或 者 可 预期 的 访问 高 峰 前 ， 可 以 给 每 个 分 组 挂 载 上 备 
库 ， 通 过 配置 管理 中 心 更 改 配置 ， 就 可 以 让 应 用 使 用 新 的 数据 库 ， 同 
人 以 及 进行 主 备 库 的 
刃 换 。 


对 数据 源 分 组 之 后 ， 我 们 再 进行 数据 源 功 能 切 分 ， 构 建 
AtomDataSource。 从 图 5-28 中 可 以 清楚 地 看 到 ，AtomDataSource 仅 管理 
一 个 具体 的 数据 库 。 很 多 读者 看 到 这 里 可 能 会 有 疑问 ， 只 管理 一 个 具体 
的 数据 库 使 用 各 种 第 三 方 库 提供 的 DataSource 的 实现 不 就 行 了 吗 ， 为 什 
么 还 要 上 自己 在 数据 层 的 实现 中 提供 一 个 管理 单个 库 的 AtomDataSource 


呢 ? 












图 5-28 ”管理 单 库 的 数据 源 


在 本 小 节 刚 开始 的 那个 例子 中 ， 我 们 看 到 了 使 用 Apache 
BasicDataSource 的 情况 ， 像 c3p0 这 样 的 开源 第 三 方 数 据 源 的 组 件 也 都 可 
以 通过 Spring 配置 或 者 应 用 中 的 代码 来 创建 实例 。 另 外 一 种 数据 源 的 使 
用 方式 是 在 容器 里 的 ， 例 如 在 JBoss 中 的 数据 源 配置 就 是 一 个 例子 : 

















<datasources> 
<local-tx-datasource> 
<jndi-name>User1i-M</jndi-name> 
<connection- 
url>jdbc:mysql://localhost:3306/sampledb</connection-url> 
<driver-class>com.mysql.jdbc.Driver</driver-class> 
<user-name>test</user-name> 
<password>test</password> 
<exception-sorter-class- 
name>org.jboss.resource.adapter.jdbc.vendor .MySQLExceptionSorter< 
sorter-class-name> 
</local-tx-datasource> 
</datasources> 


可 以 看 到 ， 在 JBoss 容器 中 ， 配 置 的 基本 信息 和 前 面 的 Spring 里 面 的 
Apache Basic-DataSource 的 配置 项 是 类 似 的 。 这 两 种 方式 的 最 大 缺点 都 
并 且 对 于 进行 SQL 执行 的 降级 隔离 等 业务 稳定 性 方面 没有 
很 多 的 文 持 。 


而 假如 我 们 通过 AtomDataSource 把 单个 数据 库 的 数据 源 的 配置 集中 
存储 ， 那么 在 定期 更 换 密码 、 进行 机 房 迁 移 等 需要 更 改 卫 地址 或 改变 端 
口 时 融会 非 党 方便。 另外， 通过 AtomData- Source 也 可 以 带 助 我 们 完成 
， 连接 隔离 ， 以 及 禁止 某 些 SQL 的 执行 等 和 稳定 性 相关 

名 区 


所 以 我 们 需要 抽象 出 一 个 AtomDataSource， 关 于 AtomDataSource 的 
Spring 的 配置 方式 ， 除 了 增加 的 属性 外 ， 与 BasicDataSource 基 本 类 似 ， 
这 里 就 不 具体 给 出 了 。 


图 5-29 所 示 是 把 整体 DataSource 分 层 后 为 应 用 提供 的 三 层 数 据 源 实 
现 ， 应 用 可 以 根据 自己 的 需要 灵活 地 进行 选择 。 











AtomDataSource 





图 5-29 三 层 数据 源 整 体 视 名 


5.2.3 ”独立 部 团 的 数据 访问 层 实 现 方 
起 


接 下 来 ， 我 们 具体 看 一 下 数据 层 对 应 用 的 具体 呈现 方式 。 首 移 ， 从 
数据 层 的 物理 部 普 来 说 可 以 分 为 jar 包 方式 和 Proxy 的 方式 ， 这 和 之 前 介 
绍 服务 框架 时 是 很 类 似 的 。 


如 果 采 用 Proxy 方 式 的 话 ， 客 户 端 与 Proxy 之 间 的 协议 有 两 种 选择 : 
数据 库 协 议和 私有 协议 ， 如 图 5-30 所 示 ， 这 两 种 方式 各 有 优 劣 。 











图 5-30 ”独立 部 署 的 数据 访问 层 








采用 数据 库 协议 时 ， 应 用 就 会 把 Proxy 看 做 一 个 数据 库 ， 然 后 使 用 
数据 库 本 里 提供 的 JDBC 的 实现 束 可 以 连接 Proxy。 因 为 应 用 到 
Proxy、Proxy 到 DB 采用 的 都 是 数据 库 协 议 ， 所 以 ， 如 果 使 用 的 是 同 
样 的 协议 ， 例 如 都 是 MySQL 协 议 ， 那 么 在 一 些 场景 下 就 可 以 减少 
一 次 MySQL 协 议 到 对 象 然后 再 从 对 象 到 MySQL 协 议 的 转换 。 不 过 
采用 这 种 方式 时 Proxy 要 完全 实现 一 套 相 关 数 据 库 的 协议 ， 这 个 成 
本 是 比较 高 的 ， 此 外 ， 应 用 到 Proxy 之 间 也 没有 办 法 做 到 连接 复 
用 


采用 私有 协议 时 ，Proxy 对 外 提供 的 通信 协议 是 我 们 目 己 设计 的 
《这 束 类 似 我 们 在 上 一 章 看 到 的 服务 框架 中 使 用 的 协议 ) ， 并 且 需 
要 一 个 独立 的 数据 层 客户 端 ， 这 个 协议 的 好 处 是 ，Proxy 的 实现 会 
相对 简单 一 些 ， 并 且 应 用 到 Proxy 之 间 的 连接 是 可 以 复 用 的 。 


图 5-31 所 示 是 一 个 基础 的 Proxy 的 结构 ， 可 以 看 到 ， 在 接 入 应 用 的 


请 求 部 分 提供 了 MySQL 协 议和 目 身 协议 两 种 方式 〈 这 里 用 MySQL 协 议 
是 为 了 举例 ) ， 而 在 连接 数据 库 的 部 分 ， 可 以 使 用 具体 协议 的 适配器 访 


问 ， 





也 可 以 用 数据 库 提供 的 JDBC 驱 动 访问 。 和 直接 使 用 数据 库 协议 是 适 


配 的 方式 ， 更 加 灵活 ， 是 直接 在 协议 层 来 控制 数据 ， 也 能 够 实现 上 述 少 
一 次 转换 就 完成 调用 的 工作 。 
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图 5-31 数据 访问 层 内 部 结构 


5.2.4 谈 与 分 离 的 挑战 和 应 对 


接 下 来 我 们 看 一 下 读 写 分 离 部 分 会 遇 到 的 挑战 和 应 对 。 





图 5-32 所 示 是 一 个 第 见 的 应 用 使 用 读 写 分 离 的 场景 。 通 过 读 写 分 离 
的 方案 ， 可 以 分 担 主 库 (Master) 的 读 的 压力 。 这 里 面 存在 一 个 数据 复 


制 的 问题 ， 也 就 是 把 主 库 的 数据 复制 到 备 库 〈Slave) 去 。 





图 5-32 ” 读 写 分 离 结构 


5.2.4.1 主 库 从 库 非 对 称 的 场景 
1， 数据 结构 相同 ， 多 从 库 对 应 一 主 库 的 场景 


读者 对 MySQL 都 比较 熟悉 ， 通 过 MySQL 的 Replication 可 以 解决 复制 
的 问题 ， 并 且 延 迟 也 相对 较 小 。 在 多 从 库 对 应 一 主 库 的 情况 下 ， 业 务 应 
用 只 要 根据 自身 的 业务 特点 把 对 数据 延迟 不 太 敏 感 的 读 切 换 到 备 库 来 进 
行 束 可 以 了 。 可 是 ， 如 果 我 们 过 到 的 是 图 5-33 所 示 的 情况 呢 ? 我 们 的 
Slave 该 如 何 做 ? 数据 复制 又 该 如 何 做 呢 ? 
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图 5-33 ”一 个 要 做 读 写 分 离 的 例子 








首先 来 看 Slave。 从 成 本 上 来 说 ， Slave 采 用 PC Server 和 和 MySQL 的 方 
0 那么 对 村 一 个 主 库 ， 需要 多 人 台 采用 MySQL 的 PC 
台 PC Server 对 应 原来 Master 中 的 一 部 分 数据 ， 也 就 是 
进 生 本 全 库 ， 如 图 5 34 上 所 示 。 


-i 
+ + 


图 5-34 ”多 个 分 库 合 起 来 成 为 主 库 的 读 库 


我 们 该 如 何 进 行 数据 复制 呢 ? 下 面 介绍 一 个 可 供 参 考 的 方案 ， 如 图 
5-35 所 示 。 











图 5-35 ”通过 消息 解决 数据 同步 的 方案 


从 图 5-35 可 以 看 到 ， 应 用 通过 数据 层 访问 数据 库 ， 通 过 消息 系统 就 
数据 库 的 更 新 送出 消息 通知 ， 数据 同步 服务 器 获得 消息 通知 后 会 进行 数 
据 的 复制 工作 。 0 
库 时 让 数据 层 知道 分 库 规则 数据 同步 服务 器 和 DB 主 库 的 交互 主要 
根据 被 修改 或 新 增 的 数据 主键 来 获取 内 容 ， 采用 的 是 行 复制 的 方式 


可 以 说 这 是 一 个 不 优雅 但 是 能 够 解决 问题 的 方式 。 比 较 优雅 的 方式 
是 基于 数据 库 的 日 志 来 进行 数据 的 复制 。 








2. 主 / 备 库 分 库 方式 不 同 的 数据 复制 





数据 库 复 制 在 读 写 分 离 中 是 一 个 比较 关键 的 任务 。 一 般 情 况 下 进行 
的 是 对 称 的 复制 ， 也 就 是 镜像 但 是 也 会 有 一 些 场景 进行 非 对 称 复制 。 
这 里 的 非 对 称 复制 是 指 产 数据 和 目标 数据 不 是 镜像 关系 ， 也 指 源 数 据 库 
和 目标 数据 库 是 不 同 的 实现 。 


我 们 来 看 一 个 例子 ， 如 图 5-36 所 示 。 


























主 库 (分 库 条 件 : 买 家 id mod 4) | | 备 库 (分 库 条 件 : 卖家 id mod 4) | 


Lo 


图 5-36 让 六 分 库 条 件 不 同 抽 并 记 后 记 


这 是 一 个 虚拟 的 订单 的 例子 。 在 主 库 中 ， 我 们 根据 买 家 id 进 行 了 分 
库 ， 把 所 有 买 家 的 订单 分 到 了 4 个 库 中 ， 这 保证 了 一 个 买 家 伍 询 自己 的 
交易 记录 时 都 是 在 一 个 数据 库 上 得 询 的 ， 不 过 卖家 的 碍 询 就 可 能 跨 多 个 
库 了 。 我 们 可 以 做 一 组 备 库 ， 在 其 中 按照 卖家 id 进 行 分 库 ， 这 样 卖家 从 
备 库 上 得 询 上 自己 的 订单 时 就 都 是 在 一 个 数据 库 中 了 。 那 么 ， 这 惑 需 要 我 
0 

| 。 


























3. 引入 数据 变更 平台 





复制 到 其 他 数据 库 是 数据 变更 的 一 种 场景 ， 还 有 其 他 场景 也 会 关心 


数据 的 变更 ， 例 如 搜索 引擎 的 索引 构建 、 绥 存 的 失效 等 。 我 们 可 以 考虑 
构建 一 个 通用 的 平台 来 管理 和 控制 数据 变更 。 


如 图 5-37 所 示 ， 我 们 引入 Extractor 和 Applier，Extractor 负 责 把 数据 
源 变更 的 信息 加 入 到 数据 分 发 平台 中 ， 而 Applier 的 作用 是 把 这 些 变更 应 
用 到 相应 的 目标 上 ， 中 间 的 数据 分 发 平台 是 由 多 个 管道 组 成 。 不 同 的 数 
据 变 更 来 源 需 要 有 不 同 的 Extractor 来 进行 解析 和 变更 进入 数据 分 发 平台 
的 工作 。 进 入 到 数据 分 发 平台 的 变更 信息 就 是 标准 化 、 结 构 化 的 数据 
了 ， 根 据 不 同 的 目标 用 不 同 的 Applier 把 数据 落地 到 目标 数据 源 上 就 可 以 
了 。 因 此 ， 数 据 分 发 平台 构建 好 之 后 ， 主 要 的 工作 就 是 实现 不 同类 型 的 
Extractor 和 Applier， 从 而 接 入 更 多 类 型 的 数据 源 。 


| | 数据 分 发 平台 1 1 Applier 
! 1 | 
! Piplelinel ! |! 
! Pipleline2 a 
| Pipleline3 | | 
| 1 | 
| 1 1 
| | 
1 1 1 
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5.2.4.2 ”如 何 做 到 数据 平滑 迁移 





我 们 接 下 来 看 看 数据 库 的 平滑 迁移 。 对 于 没有 状态 的 应 用 ， 扩 容 和 
纵容 是 比较 容易 的 。 而 对 于 数据 库 ， 扩 容 和 纵容 会 涉及 数据 的 迁移 。 如 
果 接 受 完 全 停机 的 扩容 或 者 缩 容 ， 就 会 比较 容易 处 理 ， 停 机 后 进行 数据 
迁移 ， 然 后 校 验 并 且 恢 复 系 统 就 可 以 了 ; 但 是 如 果 不 能 接受 长 时 间 的 保 
机 ， 那 该 怎么 办 呢 ? 


对 数据 库 做 平滑 迁移 的 最 大 挑战 是 ， 在 迁移 的 过 程 中 义 会 有 数据 的 
变化 。 可 以 考虑 的 方案 是 ， 在 开始 进行 数据 迁移 时 ， 记 录 增 量 的 日 志 ， 
在 迁移 结束 后 ， 再 对 增 量 的 变化 进行 处 理 。 在 最 后 ， 可 以 把 要 被 迁移 的 
数据 的 写 暂 停 ， 保 证 增 量 日 志 都 处 理 完 毕 后 ， 再 切换 规则 ， 放 开 所 有 的 
写 ， 完 成 迁移 工作 。 


我 们 来 看 一 种 简单 的 情况 ， 假 设 数据 库 中 就 只 有 一 个 数据 表 ， 格 式 
如 表 5-3 所 示 。 














表 5-3 用户 信息 表示 示例 
id name age gender 

我 们 硕 望 根据 id 取 模 把 这 个 表 划 分 在 两 个 数据 库 中 ， 也 就 是 id mod 
2 为 0 的 还 在 原来 的 数据 库 表 中 ， 而 id mod 2 为 1 的 分 到 新 的 数据 库 表 中 。 
假设 我 们 只 有 4 条 数据 ， 我 们 来 看 一 下 前 面 描述 的 过 程 。 


(1) 首先 我 们 确定 要 开始 扩容 ， 并 且 开 始 记录 数据 库 的 数据 变更 
的 增 量 日 志 ， 如 图 5-38 所 示 。 





新 库 表 





图 5-38 ”开始 扩容 

这 时 增 量 日 志和 新 库 表 都 还 是 空 的 。 我 们 用 id 来 标识 记录 ， 用 V 标 
识 版 本 号 〈 这 不 是 数据 库 表 的 业务 字段 ， 而 是 我 们 为 了 讲 清楚 平滑 迁移 
过 程 而 加 上 的 标志 ) 。 


(2) 接 下 来 ， 数 据 开 始 复制 到 新 库 表 ， 并 且 也 有 更 新 进来 。 可 能 
会 形成 如 图 5-39 所 示 的 局 面 。 








增 量 日 过 
id=1 Update 
id=2 update 


id=3 update 








图 5-39 数据 开始 复制 到 新 库 表 


可 以 看 到 ，id=1 和 id= 王 3 的 数据 已 经 在 新 库 表 中 了 ， 但 是 id 王 1 的 记 
录 版 本 是 旧 的 ， 而 id 二 3 的 记录 版 本 已 经 是 新 的 了 。 





当 我 们 把 源 库 表 中 的 数据 全 部 复制 到 新 库 表 中 后 ， 一 定 会 出 现 的 情 
0 
和 数据。 


(3) 当 全 量 迁移 结束 后 ， 我 们 把 增 量 日 志 中 的 数据 也 进行 迁移 ， 
如 图 5-40 所 示 。 


增 量 日 专 
id=1 Update 
id=2 update 


id=3 Update 
id=4 update 
id=3 Update 
图 5-40 ”迁移 增 量 日 志 中 的 数据 


可 以 发 现 ， 这 个 做 法 并 不 能 够 保证 新 库 表 的 数据 和 源 库 表 的 数据 一 
定 是 一 致 的 ， 因 为 我 们 处 理 增 量 日 志 时 ， 还 会 有 新 的 增 量 日 志 进 来 ， 这 
古 一 个 逐渐 收敛 的 过 程 。 

(4) 然后 我 们 进行 数据 比 对 ， 这 时 可 能 会 有 新 库 数据 和 源 库 数据 
不 同 的 情况 ， 把 它们 记录 下 来 。 

(5) 接着 我 们 停止 源 数 据 库 中 对 于 要 迁移 走 的 数据 的 写 操作 ， 然 
后 进行 增 量 日 志 的 处 理 ， 以 使 得 新 库 表 的 数据 是 新 的 。 

(6) 最 后 更 新 路 由 规则 ， 所 有 新 数据 的 读 或 写 束 到 了 新 库 表 ， 这 
样 就 完成 了 整个 迁移 过 程 。 

有 了 平滑 迁移 的 文 持 ， 我 们 在 进行 数据 库 扩 容 和 纵容 时 就 会 相对 标 
准 化 和 容易 了 ， 人 否则 仆人 每 次 的 扩容 都 要 变 成 一 个 项 目 才能 完成 了 。 























5.3 总结 


/AN 二 口 


本 章 的 最 后 我 们 再 回顾 一 下 数据 层 。 随 着 数据 量 、 访 问 量 的 增 大 ， 
我 们 会 对 数据 进行 分 库 分 表 ， 这 会 为 数据 访问 带 来 一 些 共性 问题 ， 数 据 
层 正 是 为 此 而 产生 的 。 其 实 应 用 在 进行 数据 读 或 写 的 时 候 ， 不 仅 会 用 到 
数据 库 ， 还 会 用 到 分 布 式 文件 系统 、 组 在 系统 、 搜 索 系 统 等 。 传 统 上 来 
说 ， 这 些 系统 会 提供 不 同 的 API 给 应 用 ， 应 用 要 非常 清楚 上 自己 要 获取 的 
数据 的 分 布 并 采用 不 同 的 API 处 理 。 可 以 考虑 的 一 种 策略 是 扩大 数据 层 
的 履 盖 ， 把 这 些 不 同 来 源 的 数据 都 包装 在 数据 层 的 访问 之 下 ， 对 外 提供 
统一 的 接口 处 理 。 


另外 ， 我 们 知道 在 不 同 的 查询 场景 下 ， 会 使 用 不 同 的 方式 和 维度 来 
构建 和 引 以 提高 查询 速度 ， 这 些 对 于 使 用 来 说 都 是 透明 的 ， 络 合 数据 变 
人 
工 o 


最 后 我 们 来 回顾 一 下 整个 数据 层 的 结构 图 ， 如 图 5-41 所 示 。 可 以 看 
到 应 用 有 多 种 选择 ， 而 代理 层 除了 可 以 使 用 DB 的 native 的 API 方 式 外 ， 
还 可 以 像 应 用 一 样 使 用 各 种 方式 来 完成 工作 。 从 应 用 到 DB 层 就 是 一 个 
链 式 的 处 理 过 程 ， 并 且 多 数组 件 都 是 对 外 提供 JDBC 的 实现 ， 这 样 也 可 
以 方便 各 个 组 件 进行 苦 换 。 第 6 章 我 们 会 一 起 进入 消息 中 间 件 的 世界 。 
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图 5-41 数据 层 的 结构 图 


第 6 章 ”消息 中 间 件 
6.1 消息 中 间 件 的 价值 
6.1.1 消息 中 间 件 的 定义 
有 了 服务 框架 和 数据 层 ， 己 经 可 以 解决 网 站 从 集中 式 走 癌 分 布 式 过 


程 中 的 非常 多 的 问题 了 ， 而 消息 中 间 件 可 以 说 是 需要 的 最 后 一 块 拼图 。 


先 来 回顾 一 下 第 2 章 给 出 的 消息 中 间 件 的 概念 和 图 示 (如 图 6-1 所 
3 WN 下 





















| | 


消息 中 间 忻 


图 6-1 消息 中 间 件 


“Message-oriented middleware (MOM) is software infrastructure 
focused on sending and receiving messages between distributed systems.” 


从 传统 意义 上 讲 ， 消 轧 中 间 件 为 我 们 带 来 了 异步 的 特性 ， 对 系统 进 
行 了 解 厢 ， 这 对 于 大 型 分 布 式 系统 来 说 有 非常 重要 的 意义 。 在 第 4 章 和 
第 5 章 中 ， 我 们 看 到 了 一 些 功 能 对 于 消 恩 中 间 件 的 依赖 。 消 息 中 间 件 本 
身 是 一 个 比较 宽泛 的 范畴 ， 在 本 半 中 ， 我 们 更 多 的 是 介绍 考虑 大 型 网 站 
需求 的 消 思 中间 件 的 设计 与 实现 ， 并 且 会 与 Java 领 域 的 JMS 进 行 对 比 。 


接 下 来 我 们 先 看 一 个 具体 的 例子 。 








6.1.2 ” 透 过 示例 看 消息 中 国 件 对 应 用 
的 解 灰 


6.1.2.1 通过 服务 调用 让 其 他 系统 感知 事件 发 生 的 
Ds 
假设 我 们 要 做 一 个 用 户 登录 系统 ， 其 中 需要 支持 的 一 个 功能 是 ， 用 


户 登 录 成 功 后 发 送 一 条 短信 到 用 户 的 手机 ， 算 是 一 个 用 户 安全 的 选项 ， 
如 图 6-2 所 示 。 











图 6-2 ”登录 系统 直接 调用 短信 服务 








然后 ， 我 们 需要 把 用 户 登 录 的 信息 (时 间 、IP、 用 户 名 等 数据 〉 传 
给 我 们 的 安全 系统 ， 安 全 系统 会 进行 安全 策略 相关 的 处 理 和 判断 。 此 时 
的 结构 会 变 成 图 6-3 所 示 的 样子 。 








图 6-3 ”登录 系统 增加 对 安全 系统 的 直接 调用 


这 样 看 起 来 还 好 ， 但 是 如 果 再 增加 一 些 登 录 成 功 后 需要 被 调用 的 系 
统 呢 ?如 图 6-4 所 示 。 








图 6-4 ”登录 系统 增加 了 对 其 他 很 多 系统 的 直接 调用 


这 会 让 登录 系统 变 得 非常 复杂 。 每 增加 一 个 在 登录 成 功 后 需要 被 调 
用 的 系统 ， 残 需要 修改 登录 系统 来 进行 相关 的 调用 。 优 雅 一 点 的 实现 是 
把 这 个 登录 成 功 后 的 服务 调用 变 为 一 种 可 扩展 的 配置 ， 其 至 可 以 动态 生 
效 ， 但 这 只 能 降低 变更 时 的 开发 和 部 署 成 本 ， 并 没有 降低 复杂 性 。 登 录 
系统 要 修 进 依赖 非常 多 的 系统 。 








6.1.2.2 ”通过 引入 消息 中 间 件 解 耘 服务 调用 


我 们 思考 一 下 ， 如 果 从 登录 系统 的 角度 来 看 ， 这 些 系统 是 登录 系统 
必须 依赖 的 吗 ? 答案 是 否定 的 ， 登 录 系 统 只 需要 验证 用 尸 名 和 密码 的 合 
法 性 (也许 还 会 包含 验证 码 等 登录 验证 合法 性 的 必需 要 素 ) ， 所 以 登录 
系统 必须 依赖 的 是 能 够 提供 用 户 名 、 密 码 的 系统 ， 而 图 6-4 中 的 系统 其 
实 都 不 是 登录 系统 必须 依赖 的 系统 。 相 反 ， 这 些 系统 是 必须 依赖 登录 系 
统 的 ， 因 为 它们 都 关心 登录 是 否 成 功 这 件 事情 。 


在 这 样 的 场景 中 ， 我 们 需要 通过 消 轧 中 间 件 把 上 面 的 结构 解 奈 ， 上 
面 结构 中 的 服务 调用 将 会 被 固定 格式 的 消 妃 的 传递 所 取代 。 登 录 系 统 负 











责问 消息 中 间 件 发 送 消 轧 ， 而 其 他 的 系统 则 辐 消 息 中 间 件 来 订阅 这 个 消 
恩 ， 然 后 完成 目 己 的 工作 ， 如 图 6-5 所 示 。 


短信 服务 





图 6-5 ”消息 中 间 件 对 服务 调用 进行 解 丰 


通过 消 忠 中 间 件 解 厢 ， 登 录 系统 就 不 用 关心 到 底 有 多 少 个 系统 需要 
知道 登录 成 功 这 件 事 了 ， 也 不 用 关心 如 何 通知 它们 ， 只 需要 把 登录 成 功 
这 件 事 转 化 为 一 个 消息 发 送 到 消息 中 间 件 就 可 以 了 。 这 样 ， 需 要 了 解 登 
录 成 功 这 件 事 的 系统 目 己 去 消息 中 间 件 订阅 就 行 了 。 并 且 各 个 系统 之 间 
也 是 互 不 影响 的 。 


这 里 需要 注意 一 点 ， 台 是 当 登 录 成 功 时 需要 问 消 息 中 间 件 发 送 一 个 
消息 ， 那 么 我 们 必须 保证 这 个 消息 发 送 到 了 消息 中 间 件 ， 否 则 依赖 这 个 
消息 的 系统 束 无 法 工作 了 。 这 个 问题 有 一 个 不 太 优 雅 的 解决 方式 ， 如 图 
6-6 所 示 。 

















验证 密码 取 要 发 送 短信 的 用 户 
设置 要 发 短信 状态 aa 





1d | Name_| Password | age | gender | message_status | 























图 6-6 保证 消息 一 定 能 被 处 理 的 方式 








图 6-6 所 示 的 思路 是 ， 我 们 在 数据 库 中 记录 状态 ， 然 后 让 用 到 这 个 
状态 的 系统 目 己 来 但 。 这 个 记录 状态 的 数据 库 是 操作 中 一 定 会 依赖 的 数 
据 库 ， 如 果 它 出 问题 束 会 导致 对 状态 的 记录 不 成 功 ， 业 务 操 作 也 就 不 会 
成 功 了 。 图 6-6 所 示 是 把 状态 记录 在 用 户 库 的 用 户 记 录 上 了 。 不 过 这 个 
例子 是 有 一 个 小 问题 的 ， 束 是 如 宁 用 户 读 信息 时 数据 库 正 党 ， 这 时 就 能 
完成 密码 的 验证 ， 但 是 如 果 去 记录 状态 时 数据 库 不 可 用 ， 那 束 还 是 有 问 
题 的 (后 面 我 们 会 看 到 如 何 解 决 ) 。 如 果 这 里 只 是 对 数据 库 的 写 操作 的 
话 ， 那 束 没 有 问题 了 ， 例 如 修改 用 户 信 息 的 操作 ， 那 么 古 可 以 在 一 个 
SQL 中 完成 用 户 信 息 的 更 改 并 设置 要 友 送 短信 这 个 状态 ， 这 样 可 以 保证 
操作 本 身 和 状态 更 新 的 原子 性 。 


对 于 需要 感知 状态 的 应 用 来 说 ， 需 要 定时 轮 询 数 据 库 以 但 看 状态 ， 
并 且 在 做 完 操作 后 ， 需 要 更 改 状态 从 而 使 得 下 次 就 不 用 再 处 理 了 。 

可 以 说 这 是 一 个 能 解决 问题 的 work around 方 法 ， 实 现 也 比较 简单 。 
不 过 也 存在 以 下 儿 个 问题 : 














。 增加 了 业务 数据 库 的 负担 。 一 个 状态 字段 所 占 的 空间 还 可 以 接受 ， 
但 是 这 个 数据 库 需 要 被 其 他 系统 持续 地 定时 轮 询 ， 并 且 进 行 更 新 ， 
这 就 大 大 增加 了 数据 库 的 负担 。 

。 依赖 的 复杂 和 不 安全 。 该 方案 使 得 及 送 短信 的 服务 要 依赖 业务 数据 


库 ， 这 导致 依赖 复杂 并 且 不 合理 ， 另 外 ， 发 送 短信 的 服务 对 数据 库 
记录 有 修改 的 权限 ， 这 也 不 安全 。 

。 扩展 性 不 好 。 对 于 前 面 的 多 个 需要 在 业务 动作 成 功 后 来 做 后 续 工 作 
的 系统 ， 如 果 把 该 方式 用 于 这 样 的 系统 的 话 ， 我 们 就 需要 增加 很 多 
个 字段 ， 或 者 使 这 些 字段 变 得 可 共享 色相 互 不 能 影响 。 并 且 会 增加 
大 量 的 定时 对 业务 数据 库 的 轮 询 请 求 。 


对 于 这 些 问题 ， 我 们 也 期 望 通过 消 恩 中 间 件 来 解决 。 

















6.2 ”互联 网 时 代 的 消息 中 间 件 


在 6.1 市 中 我 们 通过 例子 了 解 了 消息 中 间 件 的 价值 ， 接 下 来 我 们 着 
重 介绍 适合 互联 网 特点 的 消 轧 中 间 件 的 设计 。 


在 开始 介绍 互联 网 时 代 的 消息 中 间 件 前 ， 我 们 必须 讲 一 下 JMS。 
JMS 是 Java Message Service 的 缩写 ， 它 是 Java EE 企业 版 Java)〉 中 的 一 
个 关于 消息 的 规范 ， 而 Hormetq、ActiveMQ 等 产品 是 对 这 个 规范 的 实 
现 。 如 果 是 企业 内 部 或 者 一 些小 型 的 系统 ， 直 接 使 用 JMS 的 实现 产品 是 
一 个 经 济 的 选择 ， 而 在 大 型 系统 中 有 一 些 场景 不 适合 使 用 JMS 。 


在 大 型 互联 网 中 ， 我 们 采用 消息 中 间 件 可 以 进行 应 用 之 间 的 解 克 以 
及 操作 的 异步 ， 这 是 消息 中 间 件 的 两 个 最 基础 的 特点 ， 也 正 是 我 们 需要 
的 。 在 此 基础 上 ， 我 们 着 重 思 考 的 是 消息 的 顺序 保证 、 扩 展 性 、 es 
性 、 业 务 操作 与 消息 发 送 一 致 性 ， 以 及 多 集群 订阅 者 等 方面 的 问题 ， 
人 中 呈现 给 读者 。 我 们 从 上 一 节 提 到 的 保证 消息 一 
定 被 处 理 开 始 介绍 


6.2.1 如何 解决 消 居 有 友 壕 一 致 性 


6.2.1.1 消息 发 送 一 致 性 的 定义 


























首先 ， 我 们 需要 弄 清楚 消息 发 送 一 致 性 究竟 是 什么 。 消 息 发 送 一 致 
性 是 指 产生 消息 的 业务 动作 与 消息 发 送 的 一 致 ， 就 是 说 ， 如 果 业 务 操 作 
成 功 了 ， 那 么 由 这 个 操作 产生 的 消息 一 定 要 发 送出 去 ， 否 则 就 去 失 消息 
Eo 如 果 这 个 业务 行为 没有 发 生 或 者 失败 ， 那 么 就 不 应 该 
巴 消息 发 出 去 。 





6.2.1.2 ”消息 发 送 一 致 性 很 难保 证 吗 


如 果 要 写 处 理 业 务 逻 辑 的 代码 和 发 送 消 息 的 代码 ， 该 怎么 写 呢 ? 
下 面 是 一 段 伪 代 码 ， 是 在 某 些 实践 中 的 用 法 。 从 中 可 以 看 到 以 下 两 


个 问题 。 





void foo1(){ 

// 业 务 操作 

// 例 如 写 数据 库 ， 调 用 服务 等 // 发 送 消息 
} 





业务 操作 在 前 ， 发 送 消 息 在 后 ， 如 有 果 业 务 失败 了 还 好 《当然 业务 目 
己 不 觉得 好 ) ， 如 宋 成 功 了 ， 而 这 时 这 个 应 用 出 问题 ， 那 么 消息 就 
发 不 出 去 了 。 

如 打 业 务 成 功 ， 应 用 也 没有 挂 挥 ， 但 是 这 时 消息 系统 挂 挥 了 ， 也 会 
导致 消息 发 不 出 去 。 


我 们 来 看 妨 外 一 种 做 法 ， 伪 代码 如 下 : 


void fool1(){ 

// 发 送 消息 // 业 务 操作 

// 例 如 写 数据 库 ， 调 用 服务 等 
} 


这 种 方式 更 不 可 徘 ， 在 业务 还 没有 做 时 消 乱 就 发 出 了 。 


在 具体 的 工程 实践 中 ， 第 一 种 做 法 丢失 消息 的 比例 相对 是 很 低 的 。 
当然 ， 对 于 要 求 必 须 保证 一 致 性 的 场景 ， 上 面 的 两 种 方案 都 不 能 接受 。 





6.2.1.3 ”大 家 熟知 的 JMS 有 办 法 吗 


使 用 JMS 可 以 实现 消息 发 送 一 致 性 吗 ? 我 们 来 看 看 JMS 发 送 消息 的 
部 分 。 首 先 看 看 JMS 中 几 个 比较 重要 的 要 素 。 





。 Destination， 是 指 消息 所 走 通 道 的 目标 定义 ， 也 就 是 用 来 定义 消息 
从 发 送 端 发 出 后 要 走 的 通道 ， 而 不 是 最 终 接收 方 。Destination 属 于 





管理 类 的 对 象 。 

。 ConnectionFactory ， 从 名 字 束 能 看 出 来 ， 是 指 用 于 创建 连接 的 对 象 
ConnectionFactory 属 于 管理 类 的 对 象 。 

。 Connection， 连 接 接口 ， 所 负责 的 重要 工作 是 创建 Session。 

。 Session， 会 话 接口 ， 这 是 一 个 非常 重要 的 对 象 ， 消 息 的 友 送 者 、 接 
收 者 以 及 消息 对 象 本 身 ， 都 是 由 这 个 会 话 对 象 创建 的 。 

。 MessageConsumer， 消 息 的 消费 者 ， 也 天 是 订阅 消息 并 处 理 消 息 的 
对 象 。 

。 MessageProducer， 消 息 的 生产 者 ， 就 是 用 来 有 发送 消 息 的 对 象 。 

。 XXXMessage， 是 指 各 种 类 型 的 消息 对 象 ， 包 括 BytesMessage、 
MapMessage、ObjectMessage、StreamMessage 和 TextMessage 5 种 。 


在 JMS 消 息 模型 中 ， 有 Queue 和 Topic( 在 后 面 会 详细 介绍 ) 之 分 ， 
所 以 ， 前 面 的 Destination、ConnectionFactory、Connection、 Session、 
MessageConsumer、MessageProducer 都 有 对 应 的 子 接口 。 表 6-1 显 示 了 前 
面 各 要 素 在 Queue 模 型 (PTP Domain) 和 Topic 模 型 (Pub/Sub Domain ) 
下 的 对 应 关系 。 








表 6-1 Queue 模型 和 Topic 模 型 下 各 要 素 对 比 





JMS Common PTP Domain Pub/Sub Domain 
ConnectionFactory QueueConnectionFactory TopicConnectionFactory 
Connection QueueConnection TopicConnection 
Destination Queue Topic 

Session QueueSession TopicSession 
MessageProducer QueueSender TopicPublisher 
MessageConsumer QueueReceiver TopicSubscriber 


此 外 ， 在 JMS 的 API 中 ， 我 们 看 到 很 多 以 XA 开 头 的 接口 ， 它 们 其 实 
就 是 支持 XA 协 议 的 接口 ， 它 们 与 表 6-1 中 各 要 素 的 对 应 关系 如 表 6-2 所 
示 。 








表 6-2 XA 系列 接口 与 对 应 的 非 XA 系 列 接口 


XA 系列 接口 名 称 对 应 的 非 XA 接 口 名 称 


XAConnectionFactory ConnectionFactory 





XAQueueConnectionFactory QueueConnectionFactory 
XATopicConnectionFactory TopicConnectionFactory 


XAConnection Connection 
XAQueueConnection QueueConnection 
XATopicConnection TopicConnection 
XASession Session 
XAQueueSession QueueSession 
XATopicSession TopicSession 


可 以 看 到 ，XA 系 列 的 接口 集中 在 ConnectionFactory、Connection 和 
Session 上 ， 而 MessageProducer、QueueSender、TopicPublisher、 
MessageConsumer、QueueReceiver 和 TopicSubscriber 则 没有 对 应 的 XA 对 
象 。 这 是 因为 事务 的 控制 是 在 Session 层 面 上 的 ， 而 Session 是 通过 
Connection 创 建 的 ，Connection 是 通过 ConnectionFactory 创 建 的 ， 所 以 ， 
这 三 个 接口 需要 有 XA 系列 对 应 的 接口 的 定义 。Session、Connection、 
ConnectionFactory 在 Queue 模 型 和 Topic 模 型 下 对 应 的 各 个 接口 也 存在 相 
应 的 XA 系列 的 对 应 接口 。 


下 面 展 示 了 消息 最 重要 的 要 素 〈 消 轧 、 发 送 者 、 接 收 者 ) 与 几 个 基 
本 元 素 之 间 的 关系 。 

















ConnectionFactory->Connection-Session-Message 
Destination + Session MessageProducer 
Destination + Sessoin MessageConsumer 


在 JMS 中 ， 如 果 不 使 用 XA 系列 的 接口 实现 ， 那 么 我 们 束 无 法 直接 
得 到 发 送 消 息 给 消 轧 中 间 件 及 业务 操作 这 两 个 事情 的 事务 保证 ， 而 JMS 
中 定义 的 XA 系列 的 接口 就 是 为 了 实现 分 布 式 事务 的 支持 (发 送 消息 和 
业务 操作 很 难 做 在 一 个 本 地 事务 中 ， 后 面 会 讲 到 一 些 变通 的 做 法 ) 。 但 


是 这 会 带 来 如 下 问题 。 











。 引入 了 分 布 式 事务 ， 这 会 带 来 一 些 开 销 并 增加 复杂 性 。 

。 对 于 业务 操作 有 限制 ， 要 求 业 务 操作 的 资源 必须 文 持 XA 协 议 ， 才 
能 够 与 发 送 消息 一 起 来 做 分 布 式 事务 。 这 会 成 为 一 个 限制 ， 因 为 并 
不 是 所 有 需要 与 发 送 消 息 一 起 做 成 分 布 式 事务 的 业务 操作 都 文 持 








XA 协 议 。 
6.2.1.4 有 其 他 的 办 法 吗 


从 6.2.1.3 节 可 以 看 到 ，JMS 是 可 以 解决 消息 发 送 一 致 性 的 问题 的 ， 
但 是 存在 一 些 限 制 并 且 成 本 相对 较 高 。 那 么 ， 我 们 有 没有 其 他 的 办 法 
呢 ? 

我 们 来 思考 一 下 要 解决 的 问题 ， 我 们 希望 保证 业务 操作 与 发 送 相关 
消息 的 动作 是 一 致 的 ， 而 前 面 的 简单 方案 不 能 完全 保证 ， 但 是 出 现 问题 
的 概率 并 不 大 ， 所 以 ， 我 们 希望 找到 一 种 解决 方案 ， 这 种 方案 对 正常 流 
程 的 影响 要 尽 可 能 小 ， 而 在 有 问题 的 场景 能 解决 问题 。 


从 这 个 方面 看 ， 即 便 可 以 做 到 业务 操作 都 是 支持 XA 的 ， 如 末末 用 
这 样 的 方式 引入 两 阶段 提交 的 话 ， 那 么 还 是 把 方案 做 得 有 些 重 了 。 


针对 这 个 问题 ， 我 们 可 以 用 图 6-7 所 示 的 方案 来 解决 ， 流 程 介绍 如 
下 


(4) 业务 操作 : 
应 用 (消息 发 布 者 ) 一 一 一 > | 业务 控 作 | 


(1) 发 送 的 (5) 发 送 











消息 入 业务 处 
库 结 果 | 理 结果 


(2) 存储 消息 ~ 
: 消息 中 间 件 消息 存储 | | 
! (0) 更 新 消息 状态 ， | 


业务 成 功 ， 消 息 状态 
1 为 待 发 送 ; 
| 本 地 事务 域 业务 失败 ， 消 息 删除 


图 6-7 最 终 一 致 性 方案 的 正 疝 流程 








(1) 业务 处 理应 用 首先 把 消息 发 给 消息 中 间 件 ， 标 记 消 恩 的 状态 
为 符 处 理 。 


(2) 消 奶 中 间 件 收 到 消息 后 ， 把 消息 存储 在 消息 存储 中 ， 并 不 投 


递 该 消息 。 


(3) 消息 中 间 件 返回 消 县 处 理 的 结果 《〈 仅 是 入 库 的 结果 ) ， 结 果 
是 成 功 或 者 失败 。 


(4) 业务 方 收 到 消 妃 中 间 件 返回 的 结果 并 进行 处 理 : 

a) 如 果 收 到 的 结果 是 失败 ， 那 么 就 放弃 业务 处 理 ， 络 束 。 
b) 如 果 收 到 的 结果 是 成 功 ， 则 进行 业务 目 身 的 操作 。 

(5) 业务 操作 完成 ， 把 业务 操作 的 结果 发 送 给 消息 中 间 件 。 
(6) 消 妃 中 间 件 收 到 业务 操作 结果 ， 根 据 结 果 进 行 处 理 : 
a) 如 果 业 务 失败 ， 则 删除 消 妃 存储 中 的 消息 ， 结 束 。 


b) 如 果 业 务 成功 ， 则 更 新 消 恩 存储 中 的 消息 状态 为 可 发 送 ， 并 且 
进行 调度 ， 进 行 消息 的 投递 。 


这 就 是 整个 流程 。 在 这 里 读者 一 定 会 有 一 个 疑问 ， 即 在 最 简单 的 版 
本 中 ， 我 们 只 有 业务 操作 和 发 消息 两 步 ， 仍 然 会 可 能 产生 很 多 异常 ， 那 
么 现在 这 个 过 程 的 步 又 更 多 ， 产 生 寞 常 的 可 能 点 更 多 ， 是 如 何 能 够 保证 
业务 操作 和 发 送 消 息 到 消息 中 间 件 是 一 致 的 呢 ? 


我 们 对 每 一 个 步 又 可 能 产生 的 异常 情况 来 进行 分 析 。 


(1) 业务 应 用 发 消息 给 消息 中 间 件 。 如 果 这 一 步 失败 了 ， 无 论 是 
网 络 的 原因 还 是 消息 中 间 件 的 原因 ， 或 是 业务 应 用 目 身 的 原因 ， 我 们 都 
会 看 到 业务 操作 没有 做 ， 消 息 也 没有 被 存储 在 消 轧 中 间 件 中 ， 业 务 操作 
和 消 妃 的 状态 是 一 样 的 ， 没 有 问题 。 


(2) 消 恳 中间 件 把 消息 入 库 。 如 宁 这 一 步 失 败 ， 无 论 是 消息 存储 
有 问题 ， 还 是 消 妃 中 间 件 收 到 业务 消息 后 有 问题 ， 或 是 网 络 问题 ， 可 能 
造成 的 结果 有 两 个 。 一 个 是 消息 中 间 件 失效 ， 那 么 业务 应 用 是 收 不 到 消 



































恩 中 间 件 的 返回 结果 的 ;二 是 消息 中 间 件 插入 消息 失败 ， 并 且 有 能 力 返 
回 结果 给 应 用 ， 这 时 消 恩 存储 中 都 没有 消息 。 


(3) 业务 应 用 接收 消 奶 中 间 件 返回 结果 异常 。 这 里 出 现 异 常 的 原 
因 可 能 是 网 络 、 消 息 中 间 件 的 问题 ， 也 可 能 是 业务 应 用 自身 的 问题 。 如 
果 业 务 应 用 自身 没 问 题 ， 那 么 业务 应 用 并 不 知道 消息 在 消息 中 间 件 的 处 
理 结果 ， 就 会 按照 消 恩 发 送 失 败 来 处 理 ， 如 果 这 时 消 姑 在 消 恩 中 间 件 那 
里 入 库 成 功 的 话 ， 就 会 造成 不 一 致 。 如 果 是 业务 应 用 有 问题 ， 那 么 如 果 
消息 在 消息 中 间 件 中 处 理 成 功 的 话 ， 也 就 会 造成 不 一 致 了 ;如 果 未 处 理 
成 功 ， 则 还 是 一 致 的 。 


(4) 业务 应 用 进行 业务 操作 。 这 一 步 不 会 产生 太 大 问题 。 

45) 业务 应 用 发 送 业 务 操作 结果 给 消 恩 中 间 件 。 如 琳 这 一 步 出 现 
问题 ， 那 么 消 妃 中 间 件 将 不 知道 该 如 何 处 理 已 经 存储 在 消息 存储 中 的 消 
恩 ， 可 能 会 造成 不 一 致 。 


(6) 消息 中 间 件 更 新 消息 状态 。 如 果 这 一 步 出 现 问题 ， 与 上 一 步 
所 造成 的 结果 是 类 似 的 。 

从 上 面 的 分 析 可 以 看 出 ， 需 要 了 解 的 两 个 主要 的 控制 状态 和 流程 的 
节点 就 是 业务 应 用 和 消息 中 间 件 ， 我 们 可 以 分 别 从 业务 应 用 和 消息 中 间 
件 的 视角 来 梳理 一 下 ， 如 表 6-3 和 表 6-4 所 示 。 


表 6-3 ”从 业务 应 用 的 视角 分 析 异 常情 况 


















































异常 情况 可 能 的 状态 
发 送 消息 给 消息 中 间 件 前 失败 业务 操作 未 进行 ， 消 息 未 入 存 
储 
消息 发 出 后 没有 收 到 消息 中 间 件 的 响 “业务 操作 未 进行 ， 消 息 存 入 存 
应 储 ， 状 态 为 待 处 理 
业务 操作 未 进行 ， 消 息 未 入 丰 
收 到 消息 中 间 件 返 回 成 功 ， 但 是 没有 ”业务 操作 未 进行 ， 消 息 存 入 在 
来 得 及 处 理 业务 就 失败 储 ， 状 态 为 待 处 理 





表 6-4 从 消息 中 间 件 的 视角 分 析 异 常情 况 





异常 情况 可 能 的 状态 
没有 收 到 业务 应 用 关于 业务 操作 的 ” ”业务 操作 未 进行 ， 消 恩 存 入 存 
处 理 结果 储 ， 状 态 为 竺 处 理 
业务 操作 未 进行 〈《 回 滚 ) ， 消 息 
存 入 存储 ， 状 态 为 待 处 理 
业务 操作 成 功 ， 消 奶 存 入 存储 ， 





状态 为 符 处 理 
收 到 业务 应 用 的 业务 操作 结果 ， 处 ” ”业务 操作 未 进行 ,消息 存 入 存 
理 存 储 中 的 消 妃 状态 失败 储 ， 状 态 为 竺 处 理 


业务 操作 未 进行 〈《 回 滚 ) ， 消 息 
存 入 存储 ， 状 态 为 待 处 理 

业务 操作 成 功 ， 消 妃 存 入 存储 ， 
状态 为 竺 处 理 


从 上 面 的 梳理 和 分 析 可 以 看 到 ， 对 于 各 种 异常 情况 我 们 遇 到 的 状态 
有 如 下 三 种 : 


业务 操作 未 进行 ， 消 息 未 入 存储 。 
业务 操作 未 进行 ， 消 息 存 入 存储 ， 状 态 为 符 处 理 。 
业务 操作 成 功 ， 消 息 存 入 存储 ， 状 态 为 符 处 理 。 


这 三 种 情况 中 ， 第 一 种 情况 不 需要 进行 额外 的 处 理 ， 因 为 本 身 就 是 
一 臻 的 ;， 第 二 种 和 第 三 种 都 需要 了 解 业 务 操作 的 结果 ， 然 后 来 处 理 已 经 
在 消息 存储 中 、 状 态 是 竺 处 理 的 消 妃 。 


那么 如 何 了 解 业 务 操作 的 结果 呢 ? 


图 6-8 展 示 了 这 个 过 程 。 由 消息 中 间 件 主动 询问 业务 应 用 ， 获 取 待 
处 理 消 息 所 对 应 的 业务 操作 的 结果 ， 然 后 业务 应 用 需要 对 业务 操作 的 结 
果 进 行 检查 ， 并 且 把 结果 发 送 给 消息 中 间 件 (业务 处 理 结果 有 失败 、 成 
功 、 等 待 三 种 ， 等 待 是 多 出 来 的 一 种 状态 ， 代 表 业 务 操作 还 在 处 理 
中 ) ， 然 后 消息 中 间 件 根据 这 个 处 理 结果 ， 更 新 消息 状态 。 可 以 说 这 是 
发 送 消息 的 一 个 反 向 的 流程 。 

















(1) 询问 状态 (3) 发 送 
为 待 处 理 的 业务 处 
消息 对 应 的 理 结 
业务 操作 结 

二 


i 

EE (更 新 消息 奖 态 | 、，_ 

ee 业务 成 功 ， 消 息 状态 | 消息 存储 | ; 

为 待 发 送 ; 

本 地 事务 域 





业务 失败 ， 消 息 删除 


图 6-8 ”最 终 一 致 性 方案 的 补偿 流程 


同样 ， 这 个 演 程 也 会 出 现 很 多 异常 。 不 过 这 个 4 步 的 流程 就 是 为 了 
确认 业务 处 理 操 作 结 果 ， 真 正 的 操作 只 是 根据 业务 处 理 结果 来 更 改 消 筷 
的 状态 ， 所 以 ， 前 面 3 步 都 与 查询 相关 ， 如 果 失 败 就 失败 了 ， 而 最 后 一 
SS 0 0 
hy 


发 送 消 上 息 的 正 同 流程 和 检查 业务 操作 结果 的 反问 流程 合 起 来 ， 束 是 
解决 业务 操作 与 发 送 消 息 一 致 性 的 方案 。 在 大 多 数 的 情况 下 ， 反 辣 流 程 
人 

6-5 上 不。 




















表 6-5 ”解决 一 致 性 方案 与 传统 方式 的 对 比 





传统 方式 解决 一 致 性 的 方案 
(1) 业务 操作 (1) 发 送 消 轧 给 消 妃 中 间 件 





(2) 发 送 消 轧 给 消 轧 中 间 件 〈2) 消息 中 间 件 入 库 消 电 
(3) 消息 中 间 件 入 库 消息 (3) 消息 中 间 件 返回 结果 
(4) 消息 中 间 件 返回 结果 ”“〈4) 业务 操作 
(5) 发 送 业 务 操作 结果 给 消 恩 中 间 件 








(6) 更 改 存储 中 消 妃 状态 


从 上 面 的 对 比 可 以 看 到 ， 解 决 一 致 性 的 方案 是 只 增加 了 一 次 网 络 操 
作 和 一 次 更 新 存储 中 消息 状态 的 操作 ， 惑 是 第 5 步 和 第 6 步 两 步 。 而 前 面 
4 步 和 传统 方式 所 做 的 事情 都 一 样 ， 只 是 顺序 有 所 不 同 。 所 以 ， 整 体 上 
市 来 的 额外 开销 并 不 大 ， 而 且 还 有 可 优化 的 点 。 


接着 来 看 一 下 使 用 方式 。 可 以 看 到 解雇 一 致 性 的 方案 中 ， 在 业务 应 
， 伪 代码 如 下 。 








Result postMessage(Message, PostMessageCallback)t{ 
// 发 送 消息 给 消息 中 间 件 

// 获 取 返 回 结 果 

// 如 果 失 败 ， 返 回 失败 

// 进 行业 务 操作 

// 获 取 业 务 操 作 结 果 

// 发 送 业 务 操作 结果 给 消息 中 间 件 

// 返 回 处 理 结果 

} 


可 以 看 到 ， 我 们 可 以 把 实现 逻辑 封装 在 一 个 调用 中 ， 然 后 把 业务 的 
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当然 ， 除 了 发 送 一 致 性 的 消息 之 外 ， 也 应 该 提供 一 个 传统 的 发 送 消 
恩 的 接口 ， 也 就 是 不 文 持 发 送 一 致 性 的 发 送 接口 。 


此 外 ， 为 了 适应 其 他 的 场景 (例如 与 现 有 的 事务 处 理 流程 结合 
等 ) ， 也 会 提供 独立 的 接口 ， 就 会 把 这 个 流程 的 控制 权 区 给 业务 应 用 目 








6.2.2 ”如 何 解 决 消息 中 间 件 与 使 用 者 
的 强 依 赖 问题 


回顾 一 下 解决 业务 操作 和 发 送 消息 一 致 性 的 方案 ， 会 发 现 我 们 更 多 


地 关注 了 如 何 保持 和 解决 一 致 性 的 问题 ， 但 是 忽略 了 一 个 问题 ， 那 就 是 
消息 中 间 件 变 成 了 业务 应 用 的 必要 依赖 。 也 就 是 说 ， 如 果 消 恩 中 间 件 系 
统 〈 包 括 使 用 的 消 妃 存储 、 业 务 应 用 到 消息 中 间 件 的 网 络 等 ) 出 现 问 
题 ， 就 会 导致 业务 操作 无 法 继续 进行 ， 即 便当 时 业务 应 用 和 业务 操作 的 
资源 都 是 可 用 的 。 


我 们 需要 思考 如 何 解雇 这 个 问题 ， 思 路 有 如 下 三 种 : 











。 提供 消 忠 中 间 件 系统 的 可 徘 性 ， 但 是 没有 办 法 供 证 日 分 

。 对 于 消息 中 间 件 系统 中 影响 业务 操作 进行 的 部 分 ， 使 其 
务 自 身 的 可 菲 性 相同 。 

。 可 以 提供 弱 依赖 的 文 持 ， 能 够 较 好 地 保证 一 致 性 。 


一 种 方案 ， 提 升 消 息 中 间 件 系统 的 可 靠 性 是 必须 要 做 的 事情 ， 但 
ER 


第 二 种 方案 ， 让 消息 中 间 件 系统 中 影响 业务 操作 的 部 分 与 业务 自身 
具有 同样 的 可 靠 性 ， 其 实 就 是 要 保证 如 果 业 务 能 操作 成 功 ， 就 需要 消息 
能 够 入 奋 成 功 。 因为 如 果 消 息 中 间 件 出 问题 了 ， 可 以 接受 投递 的 延迟 ， 
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但 是 需要 保证 消息 入 库 ， 这 样 业务 操作 才 可 以 继续 进行 。 那 么 ， 可 行 的 


消息 中 间 件 


方式 只 有 一 种 ， 如 图 6-9 所 示 。 











图 6-9 应 用 和 消息 中 间 件 一 起 操作 消息 表 结 构 
我 们 把 消息 中 间 件 所 需要 的 消 妃 表 与 业务 数据 表 放 到 同一 个 业务 数 





据 库 中 ， 这 样 ， 业 务 应 用 束 可 以 把 业务 操作 和 写 入 消息 作为 一 个 本 地 事 
务 来 完成 ， 然 后 再 通知 消 忠 中 间 件 有 消 忠 可 以 发 送 ， 这 样 就 解决 了 一 致 
性 的 问题 。 从 图 6-9 中 可 以 看 到 这 一 步 是 虚线 表示 的 ， 代 表 它 不 是 一 个 
必要 的 操作 和 依赖 。 消 息 中 间 件 会 定时 去 轮 询 业务 数据 库 ， 找 到 需要 发 
I 

Da) ， 








。 需 要 用 业务 自己 的 数据 库 承载 消息 数据 。 

需要 让 消息 中 间 件 去 访问 业务 数据 库 。 

需要 业务 操作 的 对 象 是 一 个 数据 库 ， 或 者 说 支持 事务 的 存储 ， 并 且 
这 个 存储 必须 能 够 支持 消息 中 间 件 的 需求 。 


我 们 在 上 面 的 基础 上 进行 一 下 变通 ， 如 图 6-10 所 示 。 这 个 方案 和 图 
6-9 中 方案 的 区 别 是， 消息 中 间 件 不 再 直接 与 业务 数据 库 打 交道 。 消 奶 
表 还 是 放 在 业务 数据 库 中 ， 完 全 由 业务 数据 库 来 控制 消息 的 生成 、 获 
取 、 发 送 及 重 试 的 策略 。 这 样 ， 消 息 中 间 件 就 不 需要 与 众多 使 用 这 种 消 
县 一 致 性 发 送 的 业务 方 的 数据 库 打 交道 了 ， 不 过 比较 多 的 逻辑 是 从 消 上 
中 间 件 的 服务 问 移 动 到 消息 中 间 件 的 客户 端 ， 并 且 在 业务 应 用 上 执行 。 
消 轧 中 间 件 更 多 的 是 管理 接收 消 姑 的 应 用 ， 并 且 当 有 消 轧 从 业务 应 用 发 
人 
0 服务 端 两 边 。 
































图 6-10 ”消息 中 间 件 不 直接 操作 消息 表 结构 











图 6-9 和 图 6-10 中 的 两 种 方式 虽然 已 经 解决 了 大 部 分 问题 ， 但 是 它们 
都 要 求 业务 操作 是 文 持 事务 的 数据 库 操 作 ， 有 具有 一 定 的 限制 性 ， 这 里 我 
们 可 以 再 进行 一 下 变通 。 


我 们 考虑 把 本 地 磁盘 作为 一 个 消息 存储 ， 也 就 是 如 果 消 息 中 间 件 不 
可 用 ， 又 不 愿 或 不 能 侵入 业务 目 己 的 数据 库 时 ， 可 以 把 本 地 磁盘 作为 存 
储 消 轧 的 地 方 ， 等 待 消 妃 中 间 件 回复 后 ， 再 把 消 思 送 到 消息 中 间 件 中 
《如 图 6-11 所 示 ) 。 所 有 的 投递 、 重 试 等 管理 ， 仍 然 是 在 消息 中 间 件 进 
行 ， 而 本 地 磁盘 的 定位 只 是 对 业务 应 用 上 发 送 消 乱 一 定 成 功 的 一 个 保 
证 
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图 6-11 应 用 本 地 记录 消息 结构 


这 种 方式 存在 的 风险 是 ， 如 末 消 恩 中 间 件 不 可 用 ， 而 且 写 入 本 地 磁 
盘 的 数据 也 坏 了 的 话 ， 那 么 消息 束 丢 失 了 。 这 确实 是 个 问题 ， 所 以 ， 从 
业务 数据 上 进行 消 有 息 补 发 才 是 最 彻底 的 容 灾 的 手段 ， 因 为 这 样 才能 保证 
只 要 业务 数据 在 ， 束 一 定 可 以 有 办 法 恢复 消 恩 了 。 


将 本 地 磁盘 作为 消息 存储 的 方式 有 两 种 用 法 ， 一 是 作为 一 致 性 发送 
消息 的 解决 方 采 的 容 灾 手段 ， 也 残 是 说 该 方式 平时 不 工作 ， 出 现 问 题 时 
才 切 换 到 该 方式 上 ; 二 是 直接 使 用 该 方式 来 工作 ， 这 样 可 以 控制 业务 操 
作 本 号 调用 发 送 消息 的 接口 的 处 理 时 间 ， 此 外 也 有 机 会 在 业务 应 用 与 消 
恩 中 间 件 之 间 做 一 些 批 处 理 的 工作 。 


最 后 ， 我 们 来 看 一 下 业务 操作 与 发 送 消 轧 一 致 性 的 方案 所 带 来 的 两 























个 限制 。 


。 需要 确定 要 发 送 的 消息 的 内 容 。 因 为 我 们 在 业务 操作 做 之 前 会 把 状 
态 标 记 为 待 处理 ， 这 要 求 先 能 确定 消息 内 容 ; 这 里 可 以 有 一 个 变 
通 ， 即 移 把 主要 内 容 也 就 是 能 够 标记 该 次 业务 操作 特点 的 信息 发 过 
来 ， 然 后 等 业务 操作 结束 后 需要 更 新 状态 时 再 补 全 内 容 。 不 过 这 还 
征 要求 在 业务 操作 之 前 能 够 确定 一 些 索引 性 质 的 信息 。 

再 要 实现 对 业务 的 检查 。 也 就 是 说 为 了 文 持 反 回流 程 的 工作 ， 业 务 
应 用 必须 能 够 根据 反 辐 流程 中 发 回来 的 消 妃 内 容 进 行业 务 操作 检 
碍 ， 确 认 这 个 消 思 所 指 加 的 业务 操作 的 状态 是 完成 、 竺 处理， 还 是 
进行 中 ， 人 否则 ， 待 处 理 状 态 的 消息 束 无 法 被 处 理 了 。 


6.2.3 ”消息 模型 对 消息 接收 的 影 啊 


前 面 讲述 了 消息 发 送 端的 内 容 ， 我 们 接 下 来 看 一 下 消息 模型 。 在 
JMS 中 ， 有 Queue ”【〔 点 对 点 ) 和 Topic (发 布 /订阅 〉 两 种 模型 ， 我 们 来 
看 看 这 两 种 模型 的 特点 。 














6.2.3.1 JMS Queue 模 型 


图 6-12 显 示 的 是 JMS Queue 模 型， 可 以 看 到 ， 应 用 1 和 应 用 2 发 送 消 
晨 到 JMS 服 务 器 ， 这 些 消 恩 根据 到 达 的 顺序 形成 一 个 队列 ， 应 用 3 和 应 
用 4 进行 消息 的 消费 。 这 里 需要 注意 的 是 ， 应 用 3 和 应 用 4 收 到 的 消息 是 
不 同 的 ， 也 束 是 说 在 JMS Queue 的 方式 下 ， 如 果 Queue 里 面 的 消息 被 一 
个 应 用 处 理 了 ， 那 么 连接 到 JMS Queue 上 的 男 一 个 应 用 是 收 不 到 这 个 消 
恩 的 ， 也 就 是 说 所 有 连接 到 这 个 JMS Queue 上 的 应 用 共同 消费 了 所 有 的 
消息 。 消 息 从 发 送 端 发 送出 来 时 不 能 确定 最 终 会 被 哪个 应 用 消费 ， 但 是 
可 以 明确 的 是 只 有 一 个 应 用 会 去 消费 这 条 消息 ， 所 以 JMS Queue 模 型 也 
被 称 为 Peer To Peer (PTP) 方式 。 


JMS (Queue ) 
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图 6-12 JMS Queue 模 型 


6.2.3.2 ”JMS Topic 模 型 


图 6-13 显 示 的 是 JMS Topic 模 型 。 从 发 送 消息 的 部 分 和 JMS Topic 内 
部 的 逻辑 来 看 ，JMS Topic 和 JMS Queue 是 一 样 的 ， 二 者 最 大 的 差别 在 于 
消息 接收 的 部 分 ， 在 Topic 模 型 中 ， 接 收 消息 的 应 用 3 和 应 用 4 是 可 以 独 
立 收 到 所 有 到 达 Topic 的 消息 的 。JMS Topic 模 型 也 被 称 为 Pub/Sub 方 式 。 
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图 6-13 ”JMS Topic 模 型 


6.2.3.3 JMS 中 客户 端 连接 的 处 理 和 和 带 来 的 限制 


在 使 用 JMS 时 ， 每 个 Connection 都 有 一 个 唯一 的 ClientId， 用 于 标记 
连接 的 唯一 性 ， 也 就 是 说 刚才 对 Queue 和 Topic 的 介绍 中 ， 我 们 是 默认 一 
个 接收 应 用 只 用 了 一 个 连接 。 现 在 来 看 一 下 多 连接 的 情况 ， 如 图 6-14 所 
示 。 
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图 6-14 ”从 连接 角度 看 应 用 从 Queue 中 接收 消息 


这 里 需要 强调 一 下 ， 图 6-14 中 的 应 用 3 和 应 用 4 表示 的 是 两 个 不 同 的 
应 用 ， 并 且 表 示 的 是 运行 应 用 代码 的 一 个 物理 进程 。 其 中 ， 应 用 3 和 
JMS 服 务 器 建立 了 两 个 连接 ， 应 用 4 和 JMS 服 务 器 建立 了 一 个 连接 ， 可 以 
看 到 这 三 个 连接 所 接收 的 消息 是 完全 不 同 的， 每 个 连接 收 到 的 消 恩 条 数 
以 及 收 到 消 妃 的 顺序 则 不 是 固定 的 。 


图 6-15 中 ， 应 用 3、 应 用 4 也 是 表示 两 个 进程 ， 运 行 不 同 的 应 用 代 
码 。 其 中 应 用 3 和 JMS 服 务 器 建立 了 一 个 连接 ， 应 用 4 和 JMS 服 务 器 建 并 
了 两 个 连接 ， 可 以 看 到 ， 这 两 个 应 用 一 共 建 立 了 三 个 连接 ， 每 个 连接 都 
会 收 到 所 有 发 送 到 Topic 的 消息 。 
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图 6-15 ”从 连接 角度 看 应 用 从 Topic 中 接收 消息 
6.2.3.4 ”我 们 需要 什么 样 的 消息 模型 


了 解 了 JMS 中 的 消 妃 模型 及 连接 管理 的 信息 ， 接 下 来 思考 一 下 我 们 
需要 的 到 确 是 怎样 的 消息 模型 。 先 分 析 一 下 我 们 所 要 满足 的 需求 : 





消息 发 送 方 和 接收 方 都 是 集群 。 
同一 个 消 奶 的 接收 方 可 能 有 多 个 集群 进行 消息 的 处 理 。 
不 同 集群 对 于 同一 条 消息 的 处 理 不 能 相互 干扰 。 


从 前 面 对 Queue、Topic 模 型 的 介绍 中 可 以 看 到 ，Connection 是 一 个 
重要 的 概念 ， 一 个 进程 可 以 有 多 个 连接 到 JMS Server 的 Connection， 对 
于 发 送 、 接 收 都 是 集群 的 情况 ， 在 JMS 中 是 可 以 直接 文 持 的 。 


再 来 看 第 二 点 和 第 三 点 需求 。 我 们 要 求 同 一 消息 能 够 被 不 同 的 集群 
独立 互 不 干扰 地 处 理 ， 也 就 是 说 ， 假 设 有 8 条 消 忠 和 两 个 集群 ， 每 个 集 
群 恰好 有 两 侣 机 器 ， 那 么 需要 这 两 个 集群 中 的 机 器 分 别处 理 挥 所 有 8 条 
信息 ， 不 能 遗漏 ， 也 不 能 重复 〈 如 图 6-16 所 示 ) 。 
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图 6-16 ”我们 需要 的 消息 模型 


从 图 6-16 中 我 们 可 以 更 清楚 地 看 到 需要 的 模型 。 那 么 ， 在 JMS 的 基 
础 上 ， 我 们 该 怎么 做 昵 ? 前 面 我 看 到 JMS 只 提供 了 Queue 和 Topic 两 种 模 
型 ， 而 这 两 种 模型 直接 使 用 在 这 个 场景 都 是 有 问题 的 。 


如 果 使 用 JMS Queue 模 型 ,集群 A 和 集群 B 收 到 的 消息 都 将 不 完整 ， 
如 图 6-17 所 示 。 
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图 6-17 ”使 用 JMS Queue 的 情况 


从 图 6-17 中 可 以 清楚 地 看 到 ， 集 群 A 的 两 全 机 喜 上 的 应 用 收 到 了 一 
部 分 消 四 ， 而 集群 B 的 两 台 机 器 上 的 应 用 收 到 了 另 一 部 分 消 轧 ， 集 群 A 
和 集群 B 的 机 器 接收 的 消息 都 不 完整 ， 二 者 加 起 来 才 是 全 部 的 消息 ， 但 
是 这 不 是 我 们 所 想 要 的 模型 。 





再 来 看 一 下 使 用 Topic 的 情况 ， 如 图 6-18 所 示 。 可 以 看 到 ， 集 群 A 和 
集群 B 是 可 以 收 到 所 有 消息 的 ， 但 是 各 集群 内 部 的 机 器 会 收 到 重复 的 消 


恩 。 在 真实 环境 中 ， 每 个 集群 的 机 器 可 能 远 多 于 两 台 ， 这 种 重复 会 造成 
非常 大 的 负担 。 
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图 6-18 ”使 用 JMS Topic 的 情况 


既然 无 法 直接 通过 JMS 的 Queue 模 型 和 Topic 模 型 来 满足 这 个 需求 ， 
那么 在 我 们 实现 的 消 奶 中 间 件 中 束 需 要 跳出 这 两 种 模型 ， 实 现 能 够 满足 
我 们 需求 的 模型 。 


具体 来 说 ， 我 们 可 以 把 集群 和 集群 之 间 对 消息 的 消费 当做 Topic 模 
型 来 处 理 ， 而 集群 内 部 的 各 个 具体 应 用 实例 对 消息 的 消费 当做 Queue 模 
型 来 处 理 。 我 们 可 以 引入 ClusterId， 用 这 个 Id 来 标识 不 同 的 集群 ， 而 集 
群 内 的 各 个 应 用 实例 的 连接 使 用 同样 的 Clusterfd。 当 服务 器 端 进行 调度 
时 ， 根 据 ClusterId 进 行 连接 的 分 组 ， 在 不 同 的 ClusterId 之 间 保 证 消息 的 
独立 投递 ， 而 拥有 同样 ClusterId 的 连接 则 共同 消费 这 些 消 息 ， 如 图 6-19 
所 示 。 这 个 策略 是 分 两 级 来 处 理 ， 把 Topic 模 型 和 Queue 模 型 的 特点 结合 
起 来 使 用 ， 从 而 达到 多 个 不 同 的 集群 进行 消息 订阅 的 目的 。 
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图 6-19 ”多 集群 订阅 者 解决 方案 


如 末 一 定 要 使 用 JMS 的 话 ， 有 一 个 变通 的 做 法 ， 就 是 把 JMS 的 Topic 
和 Queue 也 按照 上 面 的 思路 级 联 起 来 使 用 ， 如 图 6-20 所 示 。 








JMS Topic 


[we] [wz] [we] [ws] [ws] [ws] [wa] [ms] 





图 6-20 ”通过 JMS 级 联 的 解决 方案 


不 过 这 种 级 联 方 式 相 对 比较 繁重 ， 是 多 个 独立 的 JMS 服 务 费 之 间 的 
连接 ， 这 比 在 消 妃 中 间 件 服务 器 端 内 部 进行 处 理 要 复杂 很 多 。 好 处 是 基 
本 可 以 直接 使 用 JMS 的 实现 。 这 里 需要 注意 的 是 从 Topic 中 发 消息 分 派 到 
不 同 的 Queue 中 时 ， 需 要 由 独立 的 中 转 的 消息 订阅 者 来 完成 ， 并 且 对 同 
一 个 Queue 的 中 转 只 能 由 一 个 连接 (Connection)〉 完成， 为 了 实现 高 可 
用 性 ， 还 需要 备份 扣 在 主 节 扣 出 问题 后 承担 工作 。 因 此 从 长 远 考虑 ， 
满足 这 个 需求 还 是 自己 实现 比较 合适 。 


6.2.4” 消 居 订 阅 者 订阅 消 明 的 方式 


作为 消息 中 间 件 ， 提 供 对 于 消息 的 可 靠 保证 是 非常 重要 的 事情 。 在 
些 场景 中 ， 一 些 下 游 系统 完全 通过 消息 中 间 件 进行 自身 任务 的 驱动 ， 
消息 的 可 靠 投递 就 显得 尤为 重要 。 在 “服务 框架 "一 童 中 介绍 的 可 靠 异步 
的 调用 ， 也 需要 消息 中 间 件 提供 消息 可 靠 的 保证 。 


这 里 先 来 介绍 一 下 持久 订阅 和 非 持 久 订 阅 这 两 种 订阅 方式 。 






































图 6-21 所 示 的 方式 为 非 持久 订阅 ， 含 义 是 消息 接收 者 和 消息 中 间 件 
之 间 的 消息 订阅 的 关系 的 存续 ， 与 消息 接收 者 自身 是 否 处 于 运行 状态 有 
直接 关系 。 也 就 是 说 ， 当 消息 接收 者 应 用 启动 时 ， 就 建立 了 订阅 关系 ， 
这 时 可 以 收 到 消息 ， 而 如 果 消 息 接 收 者 应 用 结束 了 ， 那 么 消息 订阅 关系 
也 就 不 存在 了 ， 这 时 的 消息 是 不 会 为 消息 接收 者 保留 的 ， 当 消息 接收 者 
应 用 再 次 启动 后 ， 又 会 重新 建立 订阅 关系 ， 之 后 的 消息 又 可 以 正常 收 
到 。 如 图 6-21 所 示 ， 消 息 接 收 者 可 以 收 到 M1、M2、M3、M6、M7、M8 
这 6 条 消息 ， 而 不 会 收 到 M4 和 M5， 因 为 这 两 条 消息 发 送出 来 的 时 候 ， 
消息 接收 者 的 应 用 已 经 停止 了 。 
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图 6-21 非 持 和 久 订 阅 


图 6-22 展 示 的 是 持久 订阅 方式 ， 可 以 看 到 与 图 6-21 最 大 的 区 别 是 ， 
M4 和 M5 这 两 条 消息 发 送 时 ， 虽 然 消息 接收 者 应 用 同样 俘 目 运行 ， 但 是 
还 是 可 以 接收 到 这 两 条 消 轧 。 持 久 订阅 的 含义 是 ， 消 奶 订 阅 关 系 一 旦 建 
立 ， 除 非 应 用 显 式 地 取消 订阅 关系 ， 否 则 这 个 订阅 关系 将 一 直 存 在 。 而 
订阅 关系 建立 后 ， 消 恩 接 收 者 会 接收 到 所 有 消 恩 ， 如 末 消 奶 接 收 者 应 用 
fo 那么 这 个 消息 也 会 保留 ， 等 竺 下 次 应 用 局 动 后 再 投递 给 消息 接收 
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图 6-22 ”持久 订阅 
因此 ， 要 做 到 可 靠 我 们 应 该 选择 持久 订阅 这 种 订阅 方式 。 


6.2.5 ”保证 消 奶 可 菲 性 的 做 法 


上 一 市 介绍 了 消 恩 订阅 者 订阅 消 恩 的 方式 ， 我 们 了 解 到 非 持 久 订阅 
不 能 保证 收 到 所 有 消息 ， 持 久 订阅 才能 保证 收 到 所 有 消 恩 ， 那 么 ， 在 持 
入 订阅 的 前 提 下 ， 整 个 消息 系统 是 如 何 保证 消 轧 可 靠 的 呢 ? 来 看 一 下 图 
6-23。 








图 6-23 ”消息 系统 示意 图 


从 图 6-23 可 以 看 到 ， 消 息 从 发 送 端 应 用 到 接收 端 应 用 ， 中 间 有 三 个 
阶段 需要 保证 可 靠 ， 分 别 是 : 消 和 四 发 送 者 把 消息 发 送 到 消 妃 中 间 件 ， 消 


恩 中 间 件 把 消息 存 入 消息 存储 ， 消 息 中 间 件 把 消息 投递 给 消息 接收 者 。 


所 以 我 们 要 保证 这 三 个 阶段 都 可 徘 ， 才 能 够 保证 最 终 消 恩 的 可 靠 。 
下 面 分 别 从 这 几 个 方面 进行 介绍 。 





6.2.5.1 ”消息 发 送 端 可 靠 性 的 保证 





这 是 消息 投递 周期 中 的 第 一 步 ， 这 一 步 并 不 复杂 ， 需 要 注意 消 恩 发 
送 者 和 消息 中 间 件 之 间 的 调用 返回 结果 的 清晰 设 定 ， 以 及 对 于 返回 结果 
的 全 面 处 理 。 


发 送 者 需要 把 消 奶 的 及 送 结果 准确 地 传 给 应 用 ， 应 用 才能 进行 相关 
的 判断 和 四 辑 处 理 。 消 轧 从 发 送 者 发 送 到 消 轧 中 间 件 ， 只 有 当 消 妃 中 间 
件 及 时 、 明 确 地 返回 成 功 ， 才 能 确认 消息 可 靠 到 达 消 恩 中 间 件 了 ;返回 
错误 、 出 现 异 常 、 超 时 等 情况 ， 都 表示 消 轧 发 送 到 消 上 县 中 间 件 这 个 动作 
失败 。 这 里 需要 注意 的 是 对 异常 的 处 理 ， 可 能 出 现 的 问题 是 在 不 注意 的 
情况 下 吃 挥 了 寞 第 ， 从 而 导致 错误 的 判断 结 




















6.2.5.2 ”消息 存储 的 可 靠 性 保证 








消息 从 发 送 者 发 送 到 消息 中 间 件 后 ， 消 轧 存 储 古 非常 重要 的 一 个 环 
节 。 当 消 妃 从 及 送 者 端 发 送出 来 后 ， 消 息 的 可 靠 保证 就 靠 存 储 了 。 


在 第 1 章 介 绍 计算 机 组 成 时 ， 提 到 过 存储 器 是 计算 机 的 5 个 组 成 部 分 
之 一 ， 存 储 絮 又 分 为 内 存 和 外 存 。 内 存 中 的 内 容 断 电 后 会 丢失 ， 而 外 存 
中 的 内 容 则 在 断 电 后 还 可 以 保留 ， 所 以 ， 消 妃 数 据 一 定 要 放 到 外 存储 器 
上 ， 要 进行 持久 的 存储 。 这 会 面临 两 个 选择 : 








。 持久 存储 部 分 的 代码 完全 自主 实现 。 
。 利用 现 有 的 存储 系统 实现 。 


自主 实现 持久 存储 的 功能 需要 慎重 。 一 个 成 熟 的 存储 系统 是 需要 长 
时 间 的 努力 、 训 证 和 考验 的 。 除 非 有 充分 的 理由 ， 人 否则 不 建议 完全 重新 


实现 一 个 持久 存储 。 如 果 针 对 特定 的 场景 ， 目 主 实现 能 够 很 好 地 提升 性 
Baa 或 者 有 其 他 一 些 好 处 ， 那 么 还 是 值得 开发 定制 的 存储 系 





采用 现 有 的 存储 系统 会 面临 比较 多 的 选择 ， 有 传统 的 关系 型 数据 
库 、 分 布 式 文件 系统 和 NoSQL 产 品 ， 这 些 类 型 的 产品 各 有 所 长 ， 需 要 在 
保证 存储 可 徘 性 的 基础 上 ， 依 据 对 消息 存储 的 需求 来 选择 。 








1. 实现 基于 文件 的 消息 存储 


这 里 介绍 一 个 笔者 杀身 经 历 的 案例 。 当 时 的 场景 要 求 能 够 达到 很 高 
的 消息 吞吐 量 ， 消 息 的 写 入 速度 要 很 快 ， 并 且 可 以 文 持 对 消息 的 灵活 的 
检索 ， 但 是 由 于 消息 本 映 不 是 特别 大 〈1.5K 左 右 ) ， 因 此 对 消息 的 顺序 
不 十 分 敏感 。 我 们 当时 选择 了 关系 型 数据 库 来 进行 消息 的 存储 ， 并 参考 
了 ActiveMQ 中 的 Kaha Persistence 的 一 个 实现 。 当 时 没有 选择 分 布 式 文件 
系统 ， 是 因为 那 时 能 够 选择 的 分 布 式 文件 系统 自身 的 稳定 性 和 性 能 还 有 
待 改 进 ; 此 外 ， 分 布 式 文件 系统 对 消息 灵活 的 检索 是 不 文 持 的 ， 需 要 再 
进行 额外 的 工作 。 而 没有 选择 NoSQL 的 原因 是 ， 当 时 的 NoSQL 不 像 现 
在 这 么 成 熟 和 广泛 使 用 ; 而且 在 消息 的 检索 方面 虽然 比分 布 式 文件 系统 
容易 一 些 ， 但 是 也 不 够 直接 ; 此 外 ，NoSQL 的 产品 一 般 都 有 很 好 的 扩展 
性 ， 在 数据 量 增 大 时 能 够 很 好 地 进行 数据 迁移 、 扩 容 ， 这 对 于 通用 系统 
来 说 是 个 很 好 的 特性 ， 但 对 于 我 们 当时 需要 的 消息 系统 来 说 并 不 重要 。 
另外 ， 参 考 Active MQ 的 Kaha Persistence 实 现 的 主要 考虑 是 想 把 消息 直 
接 存 储 在 本 地 磁 往 ， 而 不 要 额外 的 独立 存储 ， 并 且 针 对 机 械 磁 盘 的 特点 
尽量 进行 顺序 写 和 顺序 读 。 


我 们 遇 到 的 困难 有 以 下 4 点 。 
第 一 ， 完 全 重 写 一 个 可 靠 的 单机 的 存储 引擎 ， 投 入 还 是 很 大 的 。 


第 二 ， 各 种 场景 的 测试 没有 遇 到 问题 不 代表 没有 问题 ， 很 可 能 是 履 
盖 的 场景 还 不 够 全 面 。 保 证 存储 的 可 靠 性 挑战 比较 大 。 


第 三 ， 由 于 关注 否 吐 量 不 关注 消 因 顺序， 会 导致 原本 连续 的 消 有 息 存 
储 的 文件 中 有 些 消息 不 需要 了 ， 有 些 需 要 保留 ， 就 会 形成 文件 的 空洞 。 














如 图 6-24 所 示 是 连续 的 消息 存储 的 文件 : 
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图 6-24 文件 中 消息 存储 示意 图 


16 条 消息 按照 顺序 存储 在 消息 的 数据 文件 中 ， 经 过 消息 的 消费 ， 会 
产生 一 些 变化 ， 如 图 6-25 所 示 。 
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图 6-25 ”文件 空洞 





图 6-25 只 是 展示 了 一 个 文件 的 情况 ， 考 虑 到 单个 文件 的 大 小 ， 我 们 
对 消 妃 的 存储 都 是 一 系列 的 文件 ， 如 果 不 对 这 样 的 空洞 进行 处 理 ， 那 么 
5 
效 欢 。 


我 们 对 文件 进行 整理 ， 形 成 图 6-26 所 示 的 新 内 容 。 消 除 空洞 所 采用 


的 做 法 是 把 需要 保留 的 消 妃 按照 顺序 写 入 新 文件 ， 然 后 直接 删除 原来 的 
文件 。 这 相当 于 一 个 持续 的 搬运 过 程 ， 这 个 过 程 会 增加 写 的 负担 。 
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图 6-26 ”整理 后 的 文件 内 消息 存储 











第 四 ， 对 消息 的 检索 处 理 需要 考虑 索引 对 内 存 的 消耗 ， 我 们 必须 考 
碟 到 索引 不 能 完全 加 载 到 内 存 的 情况 ， 这 涉及 了 内 存 和 磁盘 文件 的 交换 
功能 ， 也 涉及 了 如 何 能 够 保证 处 理 过 程 的 高 效 。 


可 以 看 到 ， 完 全 实现 消 轧 存储 需要 解决 的 问题 还 是 比较 多 的 ， 也 需 
要 较 多 的 投入 。 而 如 果 要 提升 单机 存储 的 可 徘 性 ， 应 对 断 电 、 程 序 崩 演 
等 问题 ， 那 么 就 要 求 我 们 去 实现 一 些 单 机 数据 库存 储 引 擎 或 者 一 些 
NoSQL 的 单机 引擎 的 工作 了。 因此， 我 们 转 同 了 采用 现 有 的 数据 库 引 擎 





的 实现 。 


2. 采用 数据 库 作为 消息 存储 


如 果 读 者 研究 过 开源 JMS 的 实现 系统 ， 会 发 现 将 关系 型 数据 库 作为 
存储 肯定 会 被 这 些 开源 JMS 系 统 会 文 持 ， 类 似 ActiveMQ， 也 会 提供 基于 
文件 的 消 妃 存储 。 在 使 用 关系 型 数据 库 来 存储 数据 时 ， 库 表 设 计 是 比较 
关键 的 一 点 。 在 很 多 JMS 的 开源 实现 中 ， 库 表 设 计 是 相对 比较 复杂 的 ， 
表 与 表 之 间 会 有 一 些 相互 的 关联 。 


学 习 过 数据 库 理 论 的 读者 一 定 会 清晰 地 记得 数据 库 表 设计 的 范式 ， 
不 过 在 大 型 网 站 的 实践 中 ， 很 多 时 候 并 不 会 遭 循 这 个 范式 的 设计 ， 更 多 
的 是 考虑 采用 宽 表 、 见 余数 据 的 方式 来 实现 。 


这 里 用 一 个 简单 的 例子 介绍 一 下 数据 元 余 和 宽 表 。 假 设 我 们 有 某 个 
学 校 使 用 的 内 部 系统 ， 系 统 需要 管理 学 生 的 基本 信息 、 课 程 的 选课 信 
上 息 、 学 生成 绩 人 信息， 那么 ， 根 据 数据 库 设 计 的 范式 ， 我 们 会 如 下 设计 库 
表 ， 如 表 6-6 至 表 6-9 所 示 。 
































表 6-6 ”学 生 信息 表示 例 


























表 6-7 选课 信息 表示 例 


唯一 数字 主键 ”课程 编号 ”选课 学 生 学 号 














表 6-8 ”学 生成 绩 表 示例 


唯一 数字 主键 ”学 号 ”课程 编号 ”课程 成 绩 








表 6-9 ”课程 信息 表示 例 


课程 编号 ”课程 名 称 ” 谍 程 描述 


上 面 的 表 结 构 只 是 一 个 简单 的 展示 ， 可 以 看 到 ， 我 们 并 没有 元 余数 
据 ， 对 于 学 生 的 基本 信息 和 课程 的 基本 信息 ， 在 需要 时 可 以 通过 表 关 联 
的 方式 获取 。 例 如 ， 给 定 一 个 课程 编号 ， 需 要 得 到 所 有 选 该 课 的 同学 的 
信息 ， 我 们 只 要 把 学 生 信息 表 与 选课 信息 表 进 行 关 联 就 可 以 得 到 结果 。 
不 过 需要 注意 的 是 ， 这 里 需要 去 两 个 数据 表 进 行 查 询 ， 这 样 的 关联 没有 
单 表 查 询 的 速度 快 。 如 果 这 个 查询 需要 获得 的 学 生 信息 就 是 姓名 的 话 ， 
我 们 可 以 采用 另外 一 个 设计 ， 就 是 把 “学 生 姓 名 ”字段 元 余 一 份 放 到 选课 
信息 表 中 ， 就 是 如 表 6-10 的 设计 。 


表 6-10 ”有 宛 余 的 选课 信息 表示 例 


唯一 数字 主键 谍 程 编号 ”选读 学 生 学 号 ”学 生 姓 名 















































当然 ， 在 学 生 信息 表 中 仍然 有 这 个 字段 。 可 以 看 到 “学 生 姓 名 ?就 在 
我 们 数据 库 中 存在 了 两 份 ， 这 吏 是 见 余 ， 而 选读 信息 表 也 比 之 前 变 宽 
了 。 如 宁 需 要 其 他 的 信息 元 余 ， 表 就 会 更 视 。 这 种 方式 带 来 的 问题 是 占 
用 的 空间 会 增 大 ， 而 且 要 有 办 法 保证 一 致 性 ， 例 如 学 生 改 名 字 时 ， 各 表 
中 的 “学 生 姓 名 ?字段 都 要 一 致 地 更 改 。 这 种 方式 的 好 处 是 ， 通 过 元 余数 
据 可 以 让 查询 只 走 一 个 表 ， 因 此 提升 了 性 能 。 


回 到 消 恩 中 间 件 的 设计 ， 我 们 希望 尽量 避免 获取 数据 时 的 表 关 联 碍 
询 ， 所 以 希望 一 个 消 轧 只 用 一 个 单行 的 数据 来 解决 。 对 于 消息 来 说 ， 可 
以 把 需要 存储 的 数据 分 为 以 下 三 块 。 











。 消息 的 Header 信 息 


主要 是 指 消 轧 的 一 些 基本 信息 ， 例 如 消息 ld、 创 建 时 间 、 
投递 次 数 、 优 先 级 、 目 定义 的 键 值 对 属性 等 。 








。 消息 的 Body 


就 是 消 妃 的 具体 内 容 ， 消 息 的 Body 是 否 与 消息 的 Header 信 











县 放 在 一 条 记录 中 是 需要 考虑 的 。 经 过 分 析 和 验证 ， 我 们 选择 
其 中 一 个 因素 是 消息 体 的 内 容 


。 消 奶 的 投递 对 象 
征 指 单条 消 轧 要 投递 到 的 目标 集群 的 ClusterId。 


我 们 下 面 重点 介绍 投 弟 对象。 常规 想到 的 方式 应 该 是 下 面 这 样 处 
理 ， 如 表 6-11 和 表 6-12 所 示 。 


表 6-11 消息 表 


消息 ld 创建 时 间 。 | 。 自 定 义 属性 消息 内 容 


表 6-12 投递 表 


唯一 Id 消息 Id Clusterld 投递 次 数 下 次 投递 时 间 


我 们 投递 消息 时 就 从 投递 表 中 选取 数据 来 进行 调度 。 看 起 来 没有 很 
大 问题 ， 不 过 需要 注意 一 点 。 当 消息 进入 数据 库 时 ， 需 要 生成 相关 的 投 
递 表 中 的 数据 ， 当 消息 的 投递 有 结果 后 ， 也 要 更 新 相应 的 投递 表 的 信息 
(如 果 投 递 成 功 ， 那 么 需要 删除 对 应 的 投递 记录 ; 如 果 投 递 失败 ， 需 要 
更 新 投递 次 数 以 及 下 次 投递 时 间 ， 一 般 投递 的 间隔 会 越 来 越 长 〉”。 而 对 
投递 表 的 插入 、 删 除 、 更 新 ， 在 单条 消息 订阅 集群 数量 多 时 会 带 来 非常 
多 的 数据 库 记 录 的 操作 ， 引 起 的 性 能 下 降 是 很 厉害 的 。 


对 此 我 们 尝试 把 对 投递 的 记录 放 到 消 恩 表 中 ， 如 表 6-13 所 示 。 



































表 6-13 含 投递 记录 的 消息 表 


创建 时 间 发 送 者 。 | 投递 列表 消息 内 容 
a 证 全 全 





把 投递 列表 直接 合并 到 消息 表 中 会 带 来 如 下 两 个 问题 : 


。 投递 列表 这 个 字段 的 长 度 是 有 限制 的 ， 这 也 束 限 制 了 投递 者 的 数 


量 。 一 个 变通 的 做 法 是 在 单行 放置 多 个 投递 列表 字段 ， 例 如 投递 列 
| 然后 在 消息 中 间 件 中 取出 多 个 字段 的 数据 后 进 
行 整 万 o 

无 法 按照 单独 的 接收 者 来 进行 消息 的 调度 。 投 递 表 独 立时 ， 一 方面 
我 们 可 以 根据 消息 Id 来 确定 需要 投递 的 列表 ， 另 外 也 可 以 根据 接收 
者 的 ClusterId 来 确定 哪些 消息 需要 投递 ， 还 可 以 根据 下 次 投递 时 间 
来 进行 消息 投递 的 调度 。 而 把 投递 记录 合并 到 消息 表 后 ， 根 据 消 息 
Id、 下 次 投递 时 间 来 进行 消息 投递 调度 还 是 可 以 的 ， 但 是 想 根 据 接 
收 者 的 ClusterId 进 行 调 度 则 无 法 直接 做 到 。 我 们 无 法 直接 给 单独 的 
接收 者 ClusterId 建 立 索 引 ， 并 且 调 度 的 粒度 只 能 基于 单条 消息 ， 不 
证 的 维度 或 者 接收 者 的 维度 来 灵活 调度 。 这 是 我 们 提升 性 能 


我 们 通过 一 个 具体 实例 来 看 一 下 这 两 种 做 法 的 差异 。 假 设 消息 的 订 
阅 者 有 3 个 集群 ClusterA、ClusterB 和 ClusterC， 而 对 于 消息 的 消费 
来 说 ，ClusterA 要 能 比 ClusterB、ClusterC 更 加 及 时 地 处 理 消息 。 在 正常 
的 情况 下 ， 上 面 两 种 设计 其 实 都 不 会 出 问题 ， 而 在 异常 情况 下 则 会 有 明 
显 的 不 同 。 假 设 ClusterA 和 ClusterC 的 集群 整体 出 现 了 问题 ， 而 ClusterB 
是 正常 的 ， 先 看 看 投递 表 独 立 的 情况 ， 这 时 投递 表 中 会 有 大 量 的 
ClusterA 和 ClusterC 的 投递 记录 需要 处 理 消 息 ，ClusterA 恢 复 后 需要 较 快 
处 理 堆积 的 消息 ， 我 们 可 以 根据 ClusterA 来 调度 这 些 堆积 的 消息 ， 而 
ClusterC 可 以 慢 慢 恢复 。 


但 是 如 果 我 们 把 投递 信 息 记 录 在 消 明 表 中 的 一 个 字段 里 ， 那 么 束 只 
能 根据 消息 调度 ， 我 们 必须 在 ClusterA 恢 复 后 把 可 能 要 投递 给 ClusterA 
的 消息 都 尽快 调度 到 系统 中 ， 确 认 需 要 投递 给 ClusterA 的 话 台 要 尽快 投 
递 。 这 种 做 法 是 不 够 经 济 的 ， 尤 其 在 堆积 了 很 多 消息 的 时 候 ， 这 种 处 理 
方式 的 效率 是 比较 低 的 。 这 时 可 以 采用 的 一 个 折 中 做 法 是 ， 为 需要 尽快 
调度 的 集群 建 一 个 投递 表 ， 也 束 是 在 消息 调度 外 增加 一 个 针对 特定 集群 
的 调度 支持 ， 这 种 做 法 看 上 去 不 优雅 ， 不 过 比较 好 用 。 


在 确定 了 库 表 设计 后 ， 我 们 还 需要 考虑 存储 上 自身 的 安全 。 如 果 采 用 
成 熟 的 关系 型 数据 库 系统 ， 我 们 束 不 必 考 虑 单机 本 里 存储 引擎 的 问题 ， 
但 是 如 果 单 机 出 现 人 硬件 故障 呢 ? 这 时 束 必 须 考虑 数据 的 容 灾 方案 。 


















































。 单机 的 Raid。 笔 者 使 用 Raid10 时 遇 到 过 两 个 盘 一 起 坏 的 情况 ， 其 他 
的 单机 Raid 方 式 笔者 没有 用 过 ， 不 过 需要 考虑 单机 本 身 的 安全 性 。 


。 多 机 的 数据 同步 。 这 要 求 不 能 有 延迟 ， 一 般 通 过 存储 系统 目 身 的 机 
制 完 成 ， 需 要 注意 的 是 数据 复制 的 方式 ， 如 果 复 制 方式 有 延迟 ， 那 
么 也 不 完全 安全 。 

。 应 用 双 写 。 这 是 通过 应 用 来 控制 写 两 份 的 方案 ， 主 要 应 对 的 是 存储 
系统 目 身 数据 复制 有 延迟 的 情况 ， 不 过 这 会 让 应 用 变 得 复杂 。 


如 果 采 用 写 入 多 个 物理 节点 的 方式 ， 考 虑 到 应 用 对 于 写 入 时 间 的 要 
求 ， 这 两 个 节点 之 间 的 距离 不 能 太 大 ， 一 般 是 在 同 机 房 或 同城 较 近 的 两 
个 机 房 ， 否 则 同步 的 双 写 会 导致 过 大 的 延迟 。 可 是 ， 如 果 这 个 城市 出 现 
大 面积 的 物理 损坏 呢 ? 这 就 需要 做 异地 的 容 灾 了 ， 如 果 要 求 应 用 写 入 延 
述 低 的 话 ， 就 只 能 选择 异步 复制 ， 如 果 接 受 异地 数据 比 主 写 入 点 的 数据 
0 
要 权衡 。 














3. 基于 双 机 内 存 的 消 妃 存储 


使 用 文件 系统 或 者 数据 库 来 进行 消息 存储 时 ， 因 为 磁盘 IO 的 原因 ， 
系统 性 能 都 会 受到 限制 。 一 个 改进 方案 是 用 混合 方式 进行 存储 的 管理 。 
我 们 知道 ， 内 存 的 速度 远 超 磁盘 ， 但 是 断 电 会 丢失 数据 。 可 以 采用 的 一 
个 方式 是 用 双 机 的 内 存 来 保证 数据 的 可 笔 ， 如 图 6-27 所 示 。 正 利 情 况 
下 ， 消 奶 持 久 存 储 是 不 工作 的 ， 而 基于 内 存 来 存储 消 恩 则 能 够 提供 很 高 
的 否 吐 量 。 一 旦 一 个 机 右 出 现 故 障 ， 则 停止 妨 一 台 机 器 的 数据 写 操 作 ， 
并 把 当前 数据 落 盘 ， 如 图 6-28 所 示 。 
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图 6-27 双 机 内 存 消息 存储 结构 
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图 6-28 ” 双 机 内 存 方案 的 故障 处 理 


新 消 恩 不 会 再 进入 ， 而 正常 的 这 台 机 器 会 把 数据 写 入 持久 存储 中 以 
保证 安全 。 也 就 是 说 ， 只 要 不 遇 到 两 全 基于 内 存 的 消息 中 间 件 机 器 同时 
出 故障 的 情况 ， 并 且 当 一 台 出 问题 时 ， 另 一 从 将 当时 内 存 的 消息 写 入 持 
入 存储 的 过 程 中 不 出 问题 的 话 ， 消 息 是 很 安全 的 。 这 种 方式 适合 于 消息 
I 
是 升 性 能 。 








6.2.5.3 ”消息 系统 的 扩容 处 理 


扩容 也 是 一 个 不 可 回避 的 话题 ， 这 里 介绍 一 下 消息 中 间 件 自身 的 扩 
容 以 及 存储 的 扩容 。 








1， 消 息 中 间 件 自身 如 何 扩容 








消息 中 间 件 本 里 没有 持久 状态 ， 扩 容 相对 容易 。 主 要 是 让 消 恩 的 发 
送 者 和 消 奶 的 订阅 者 能 够 感知 到 有 新 的 消 恩 中 间 件 机 器 加 入 到 了 集群 ， 
这 是 通过 软 负载 中 心 完成 的 ， 软 负载 中 心 会 在 第 7 章 介绍 。 


图 6-29 展 示 了 集群 中 消息 中 间 件 应 用 与 消 轧 存储 间 的 关系 。 不 同 的 
消息 中 间 件 机 器 可 能 会 共用 存储 ， 而 同一 个 消息 中 间 件 机 器 也 可 能 使 用 
不 同 的 存储 ， 这 都 是 为 了 提升 可 靠 性 。 
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图 6-29 ”消息 中 间 件 与 存储 的 关系 


这 里 需要 解雇 的 问题 是 ， 在 同一 个 存储 中 如 何 区 分 存储 的 消息 是 来 
和 目 于 哪个 消息 中 间 件 应 用 的 。 我 们 的 解决 方案 是 给 每 条 消息 增加 一 个 
server 标 识 的 字段 ， 当 有 新 加 入 的 消息 中 间 件 时 ， 会 使 用 新 的 server 标 
识 。 这 一 方案 需要 应 对 的 问题 是 ， 如 果 有 消息 中 间 件 应 用 长 期 不 可 用 的 
话 ， 我 们 就 需要 加 入 一 个 和 它 具 有 同样 server 标 识 的 机 器 来 代替 它 ， 或 
者 把 通过 这 个 消息 中 间 件 进入 到 消息 系统 中 但 还 没有 完成 投递 的 消息 分 
给 其 他 机 器 处 理 ， 也 束 是 让 另 一 人 台 机 喜 承 担 剩余 消息 的 投递 工作 。 




















2. 消息 存储 的 扩容 处 理 


因为 存储 的 扩容 涉及 数据 ， 因 此 总 是 很 麻烦 的 事情 。 不 过 在 我 们 这 
个 消息 中 间 件 的 场景 中 ， 有 一 个 天 然 的 优势 可 以 让 存储 扩容 变 得 很 简 
单 。 先 看 一 下 我 们 有 什么 优势 : 





。 不 用 保证 消息 顺序 。 
。 提供 从 服务 器 端 对 消息 投递 的 方式 ， 不 文 持 主动 获取 消息 。 


回忆 一 下 第 5 章 数 据 访 问 层 中 提 到 的 分 库 分 表 、 路 由 规则 ， 为 了 能 
让 外 部 系统 在 分 库 分 表 的 情况 下 主动 根据 菏 些 条 件 进 行 数据 查询， 就 必 
须要 确切 知道 数据 存储 在 哪个 数据 库 的 哪 张 表 中 ， 对 这 种 情况 的 扩容 就 
比较 复杂 ， 第 5 草 也 提 到 了 一 些 方案 。 现 在 我 们 的 消 轧 中 间 件 的 场景 回 
避 了 这 个 操作 ， 也 束 是 说 我 们 其 实 是 不 需要 文 持 外 部 主动 根据 条 件 〈 例 
如 消 奶 Id) 来 查询 消息 的 ， 这 是 怎么 做 到 的 呢 ? 











。 首先， 消息 及 送 到 消息 中 间 件 时 ， 消 轧 中 间 件 把 消 轧 入 库 ， 这 时 消 
恩 中 间 件 是 明确 知道 消息 存储 在 哪里 的 ， 并 且 会 进行 消 恕 的 投 化 调 
度 ， 所 以 ， 一 定 能 找到 消息 。 

其 次 ， 由 于 在 内 存 中 进行 调度 的 消息 数量 有 限 “〈 受 制 于 内 存 限 
制 〉， 因 此 我 们 会 调度 存储 在 数据 库 中 的 消息 。 而 在 调度 时 ， 我 们 
更 关心 的 是 那些 符合 发 送 条 件 的 消 轧 ， 所 以 这 个 调度 必然 是 需要 跨 
所 有 库 和 表 的 ， 而 这 个 过 程 中 ， 需 要 投递 的 消 妃 会 把 相关 索引 信息 
加 载 到 内 存 ， 在 这 个 过 程 之 后 ， 内 存 中 的 调度 信息 就 自然 有 了 存储 
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总 体 来 次 ， 我 们 是 通过 服务 端 主动 调度 安排 投递 的 方式 经 开 了 根据 
消息 Id 取消 轧 这 个 动作 ， 所 以 可 以 实现 数据 库存 储 的 便利 扩容 。 


6.2.5.4 消 恩 投递 的 可 靠 性 保证 


1. 消息 投递 简介 











最 后 一 步 是 消息 的 投递 ， 这 一 步 和 发 送 者 有 消息 类 似 ， 处 理 相对 简 
单 。 特 别 需 要 注意 的 是 ， 消 息 中 间 件 需要 显 式 地 收 到 接收 者 确认 消 轧 处 
理 完 毕 的 信号 才能 删除 消息 。 消 息 中 间 件 不 能 够 依据 网 络 层 判断 消 妃 是 
人 


消 妃 接收 者 需要 特别 注意 的 是 ， 不 能 在 收 到 消息 、 业 务 没有 处 理 完 
成 时 束 去 确认 消 轧 。 此 外 ， 需 要 特别 注意 的 仍然 是 消息 接收 者 在 处 理 消 
奶 的 过 程 中 对 于 异常 的 处 理 ， 千 万 不 要 吧 邱 异常 然后 确认 消 轧 处 理 成 
功 ， 这 样 就 会 “于 ”消息 了 ， 在 实战 中 也 多 次 友 生 过 这 样 的 例子 。 














2. 投递 处 理 的 优化 


在 处 理 投递 时 ， 不 同 的 投递 处 理 方式 会 产生 不 同 的 结果 。 


投递 处 理 的 第 一 个 可 优化 之 处 是 ， 在 进行 投递 时 一 定 要 采用 多 线程 
的 方式 处 理 。 通 过 介绍 可 以 看 到 我 们 是 针对 单条 消息 来 进行 调度 ， 一 种 
方式 是 每 个 线程 处 理 一 个 消息 并 且 等 竺 处 理 结束 后 再 进行 下 一 条 消息 的 
处 理 。 每 个 线程 处 理 一 条 消息 时 ， 会 得 到 需要 接收 该 消息 的 订阅 者 集群 
Id 列表 ， 然 后 从 每 个 订阅 者 集群 Id 中 选择 一 个 连接 来 处 理 ， 消 息 投 递 后 
需要 等 待 结 有 末 ， 然 后 统一 更 新 消 轧 表 中 的 消 恕 状态 。 这 种 方式 在 正常 情 
况 下 没有 问题 ， 而 过 到 寞 常情 况 时 ， 例 如 订阅 者 集群 中 有 一 个 很 慢 的 订 
阅 者 (这 个 场景 与 我 们 之 前 在 服务 框架 中 看 到 的 茶 个 操作 很 慢 的 情况 类 
似 ) ， 负 责 投递 的 所 有 线程 会 慢 慢 地 被 墙 死 ， 因 此 都 需要 等 待 这 个 慢 的 
订阅 者 的 返回 。 























我 们 可 以 采用 的 为 一 种 方式 是 ， 把 处 理 消 乱 结果 返回 的 处 理工 作 放 
到 男 外 的 线程 池 中 来 完成 ， 也 束 是 投递 线 程 完 成 消息 到 网 络 的 投递 后 就 
可 以 接着 处 理 下 一 个 消息 ， 保 证 投递 的 环节 不 会 被 堵 死 。 而 等 待 返 回 结 
末 的 消 恩 会 先 放 在 内 存 中 ， 不 占用 线程 资源 ， 等 有 了 最 后 的 结 末 时 ， 再 
放 入 另外 的 线程 池 中 处 理 。 这 种 方式 把 占用 线程 池 的 等 待 方式 变 为 了 靠 
网 络 收 到 消息 处 理 结果 后 的 主动 啊 应 方式 。 


收 到 消 妃 的 处 理 结果 后 ， 更 新 数据 库 的 操作 也 有 一 个 小 但 很 重要 的 
人 

性 能 。 
我 们 接着 来 看 投递 处 理 的 第 二 个 可 优化 之 处 。 我 们 有 可 能 遇 到 这 样 


的 场景 ， 即 一 个 应 用 上 有 多 个 订阅 者 订阅 同样 的 消 轧 ， 如 果 不 以 加 优 
化 ， 我 们 会 癌 这 个 机 器 发 送 多 次 同样 的 消 电 《如 图 6-30 所 示 ) 。 可 以 进 


行 的 优化 有 如 下 两 点 。 
消息 中 间 件 


















所 | 


图 6-30 订阅 端 消息 的 重复 接收 








。 单机 多 订阅 者 共享 连接 。 
。 消息 只 发 送 一 次 ， 然 后 传 到 单机 的 多 订阅 者 生成 多 个 实例 处 理 〈 如 
图 6-31 所 示 ) 。 


消息 中 间 件 





图 6-31 优化 后 的 消息 接收 去 重 


从 图 6-31 可 以 看 到 ， 对 于 同样 的 消息 ， 消 息 中 间 件 只 需要 回应 用 发 
一 次 消息 ， 应 用 内 部 再 根据 本 机 的 不 同 模块 的 订阅 情况 进行 一 次 派发 。 


6.2.6 ”订阅 者 视角 的 消息 重复 的 产生 
和 应 对 


上 一 节 介 绍 了 消息 的 投递 可 靠 性 ， 可 以 说 需要 用 各 种 方式 来 保证 消 
恩 不 丢失 。 本 节 我 们 来 看 一 看 消息 重复 的 问题 。 




















6.2.6.1 消息 重复 的 产生 原因 











有 哪些 原因 会 产生 消息 重复 呢 ? 主要 有 下 面 两 大 类 原因 。 
第 一 类 原因 是 消息 及 送 端 应 用 的 消息 重复 发 送 ， 有 以 下 几 种 情况 。 








消息 发 送 问 发 送 消 轧 给 消息 中 间 件 ， 消 妃 中 间 件 收 到 消息 并 成 功 存 
储 ， 而 这 时 消息 中 间 件 出 现 了 问题 ， 导 致 应 用 端 没有 收 到 消息 及 送 
成 功 的 返回 ， 因 而 进行 重 试 产生 了 重复 。 

消息 中 间 件 因为 负载 高 啊 应 变 慢 ， 成 功 把 消 轧 存储 到 消息 存储 中 
后 ， 返 回 “ 成 功 ” 这 个 结果 时 超时 。 

消 妃 中 间 件 将 消 恩 成 功 写 入 消息 存储 ， 在 返回 结果 时 网 络 出 现 问 
题 ， 导 致 应 用 发 送 端 重 试 ， 而 重 试 时 网 络 恢复 ， 由 此 导致 重复 。 


可 以 看 到 ， 通 过 消息 发 送 端 产生 消息 重复 的 主要 原因 是 消息 成 功 进 
入 消息 存储 后 ， 因 为 各 种 原因 使 得 消息 友 送 端 没 有 收 到 “成 功 ” 的 返回 结 
果 ， 并 且 勾 有 重 试 机 制 ， 因 而 导致 重复 。 一 个 解决 办 法 是 ， 重 试 及 送 消 
奶 时 使 用 同样 的 消 妃 Id， 而 不 要 在 消息 中 间 件 端 产生 消息 Id4， 这 样 可 以 
避免 这 类 情况 的 用 生 。 


第 二 类 原因 是 消息 到 达 了 消息 存储， 由 消 轧 中 间 件 进行 癌 外 的 投递 
时 产生 重复 ， 有 以 下 几 种 情况 。 























消息 被 投 圳 到 消 乱 接收 者 应 用 进行 处 理 ， 人 处 理 完 毕 后 应 用 出 问题 

了 ， 消 奶 中 间 件 不 知道 消 恩 处 理 结果 ， 会 再 次 投递 。 

消息 被 投递 到 消 思 接收 者 应 用 进行 处 理 ， 处 理 完毕 后 网 络 出 现 问题 
了 ， 消 妃 中 间 件 没有 收 到 消 恩 处 理 绪 果 ， 会 再 次 投递 。 

消息 被 投递 到 消 轧 接收 者 应 用 进行 处 理 ， 处 理 时 间 比 较 长 ， 消 妃 中 
间 件 因为 消 妃 超时 会 再 次 投递 。 

消息 被 投递 到 消 轧 接收 者 应 用 进行 处 理 ， 处 理 完 毕 后 消息 中 间 件 出 
问题 了 ， 没 能 收 到 消 恩 结果 并 处 理 ， 会 再 次 投递 。 

消息 被 投递 到 消 轧 接收 者 应 用 进行 处 理 ， 处 理 完 毕 后 消息 中 间 件 收 
人 











可 以 看 到 ， 在 投递 过 程 中 产生 的 消息 重复 接收 主要 是 因为 消息 接收 
者 成 功 处 理 完 消 妃 后 ， 消 息 中 间 件 不 能 及 时 更 新 投递 状态 造成 的 。 那 么 
有 什么 办 法 可 以 解决 呢 ? 可 以 采用 分 布 式 事务 来 解决 ， 不 过 这 种 方式 比 
较 复 杂 ， 成 本 也 高 。 必 一 种 方式 是 要 求 消息 接收 者 来 处 理 这 种 重复 的 情 
况 ， 也 融 是 要 求 消 妃 接收 者 的 消息 处 理 是 需 等 操作 。 


蝴 等 〈idempotence) 是 一 个 数学 概念 ， 常 见于 抽象 代数 中 。 有 两 种 
主要 的 定义 : 























。 在 茶 二 元 运算 下 ， 适 等 元 素 是 指 被 日 己 重 复 运 算 ( 或 对 于 函数 是 为 
复合 ) 的 结果 等 于 它 上 自身 的 元 系 。 

。 攻 一 元 运算 为 节 等 的 时 ， 其 两 次 作用 在 任 一 元 素 后 会 和 其 作用 一 次 
的 结果 相同 。 例 如 ， 蜗 斯 符号 便 是 虹 等 的 。 


对 于 消息 接收 端的 情况 ， 窜 等 的 含义 是 采用 同样 的 输入 多 次 调用 处 
函数 ， 会 得 到 同样 的 结果 。 例 如 ， 一 个 SQL 操作 : 











update stat_ table set count = 10 where id = 1; 


这 个 操作 多 次 执行 ，id 等 于 1 的 记录 中 的 count 字 段 的 值 都 为 10， 这 
个 操作 融 是 千 等 的 ， 我 们 不 用 担心 这 个 操作 被 重复 。 当 然 ， 这 个 SQL 中 
的 数字 10 可 以 是 来 目 消 息 体 的 一 个 输入 。 


再 来 看 另外 一 个 SQL 操作 : 


update stat_ table set count = count+1 where id = 1; 
这 样 的 SQL 操 作 就 不 是 究 等 的 ， 一 旦 重复 ， 结 果 就 会 产生 变化 。 


因此 应 对 消息 重复 的 办 法 是 ， 使 消息 接收 并 的 处 理 是 一 个 暴 等 操 
作 。 这 样 的 做 法 降低 了 消 奶 中 间 件 的 整体 复杂 性 ， 不 过 也 给 使 用 消 奶 中 
间 件 的 消息 接收 闯 应 用 带 来 了 一 定 的 限制 和 门 覃 。 











6.2.6.2 ”JMS 的 消息 确认 方式 与 消息 重复 的 关系 





在 JMS 中 ， 消 息 接 收 端 对 收 到 的 消 轧 进行 确认 ， 有 以 下 几 种 选择 。 


e。 AUTO ACKNOWLEDGE 


这 是 自动 确认 的 方式 ， 就 是 说 当 JMS 的 消息 接收 者 收 到 消 
恩 后 ，JMS 的 客 尸 端 会 晶 动 进行 确认 。 但 是 确认 时 可 能 消 居 还 
没 来 得 及 处 理 或 者 尚未 处 理 完成 ， 所 以 这 种 确认 方式 对 于 消 忆 
投递 处 理 来 说 是 不 可 靠 的 。 


e。 CLIENT ACKNOWLEDGE 








这 是 客户 端 上 自己 确认 的 方式 ， 也 就 是 说 客户 端 如 果 要 确认 
消息 处 理 成 功 ， 告 诉 服务 端 确认 信息 时 ， 需 要 主动 调用 
Message 接 口 的 acknowledge0) 方 法 以 进行 消息 接收 成 功 的 确 
认 。 这 种 方式 把 控制 权 完 全 交 给 了 接收 消息 的 客户 端 应 用 。 





e DUPS OK ACKNOWLEDGE 
这 种 方式 是 在 消息 接收 方 的 消息 处 理 函 数 执行 结束 后 进行 
确认 ， 一 方面 保证 了 消息 一 定 是 处 理 结束 后 才 进 行 确认 ， 另 外 
一 方面 也 不 需要 客户 端 主动 调用 Message 接 口 的 acknowledgeg) 
2 二 下 
上 述 三 种 确认 方式 是 通过 JMS 的 Connection 在 创建 Queue 或 者 Topic 
时 设置 的 。 


从 上 面 可 以 看 到 ， 消 妃 接 收 者 对 于 消息 的 接收 会 出 现下 面 两 种 情 





e at least once 〈 至 少 一 次 ) 


至 少 一 次 ， 就 是 说 消息 被 传 给 消息 接收 者 至 少 一 次 ， 也 可 
能 多 于 一 次 ， 这 种 情况 类 似 前 面 小 节 的 消息 重复 处 理 的 情况 。 
采用 DUPS_OK_ACKNOWLEDGE 或 
CLIENT_ACKNOWLEDGE 模 式 并 且 在 处 理 消 息 前 没有 确认 的 





话 ， 就 可 能 产生 这 种 现象 。 


e at most once (至 多 一 次 ) 


至 多 一 次 ， 这 是 采用 AUTO_ACKNOWLEDGE 或 
CLIENT_ACKNOWLEDGE 模 式 并 且 在 接收 到 消息 后 就 立刻 确 
认 时 会 产生 的 情况 。 也 就 是 说 ， 消 息 从 消息 中 间 件 送 达 接收 端 
后 就 立刻 进行 了 确认 ， 而 如 果 这 时 接收 端 出 现 问题 ， 那 就 没有 
机 会 处 理 这 个 消息 了 ， 上 所 以 是 at most once。 


6.2.7 ”消息 投递 的 其 他 属性 文 持 


前 面 我 们 重点 介绍 了 消息 的 可 靠 性 、 投 递 的 重复 以 及 消 妃 确认 方 
式 ， 接 下 来 我 们 看 一 下 在 消息 投递 的 过 程 中 还 有 哪些 属性 支持 。 





1. 消息 优先 级 





一 般 情 况 下 消 妃 是 先 到 先 投递 ， 消 息 优 先 级 的 属性 可 以 文 持 根据 优 
先 级 《而 不 是 依据 到 达 消 息 中 间 件 的 时 间 ， 来 确定 投递 顺序 ， 优 先 级 高 
的 消息 即使 到 达 消 息 中 间 件 的 时 间 较 晚 ， 也 可 以 被 优先 调度 。 


另外 在 实践 中 会 把 消息 分 为 不 同类 型 ， 对 于 不 同类 型 进行 不 同 的 处 
理 ， 这 可 以 部 分 完成 优先 级 属性 的 工作 。 不 过 对 于 同 种 类 型 的 消息 还 是 
要 优先 级 属性 来 进行 区 分 。 





2. 订阅 者 消息 处 理 顺 序 和 分 级 订阅 


一 般 来 说 ， 消 轧 的 多 个 订阅 者 之 间 是 独立 的 ， 它 们 对 消息 的 处 理 并 
不 会 相互 造成 影响 。 不 过 在 一 些 特殊 场景 中 ， 对 于 同样 的 消 筷 ， 可 能 会 
希望 有 些 订阅 者 处 理 结束 后 再 让 其 他 订阅 者 处 理 。 对 于 这 样 的 情况 ， 
种 方案 是 可 以 设 定 优 先 处 理 的 订阅 集群 ， 也 就 是 我 们 这 里 的 订阅 者 消 筷 








处 理 顺序 的 属性 ， 可 以 在 这 个 字段 中 设置 有 些 处 理 的 集群 ld;， 男 一 种 方 
案 是 分 级 订阅 ， 如 图 6-32 所 示 。 





消息 中 间 件 
消息 中 间 件 


优先 接收 者 一 般 接收 者 





图 6-32 ”分 级 订阅 结构 


我 们 把 优先 接收 者 和 一 般 接收 者 的 接收 分 开 ， 一 般 接收 者 处 理 成 功 
后 主动 把 消息 投递 到 妃 外 的 消息 中 间 件 《也 可 以 换 一 个 消息 类 型 ) ， 然 
后 一 般 接 收 者 接收 新 产生 的 消息 。 这 样 的 做 法 不 需要 消息 中 间 件 去 做 额 
外 的 文 持 ， 不 过 相当 于 重新 发 了 消息 ， 会 多 一 次 消息 入 库 等 操作 。 








3. 目 定 义 属 性 


消息 上 自身 的 创建 时 间 、 类 型 、 投 递 次 数 等 属性 属于 消息 的 基础 属 
性 ， 在 消息 体外 ， 文 持 自 定义 的 属性 会 很 便利 ， 例 如 后 面 会 提 到 的 服务 
端 消 息 过 滤 ， 以 及 接收 端 对 于 消息 的 处 理 ， 有 了 这 个 目 定 义 属 性 会 方便 
很 多 。 这 个 自 定义 的 属性 类 似 于 HTTP 的 Header， 一 般 是 对 于 这 条 消息 
的 抽象 描述 ， 方 便服 务 端 和 接收 端 快 速 获取 这 条 消息 中 的 重要 信息 。 








4. 局 部 顺序 


在 前 面 的 小 节 中 提 到 过 消息 有 序 和 为 了 否 吐 量 而 放 莽 顺序 ， 这 里 要 
讲 的 一 个 概念 是 局 部 顺序 。 局 部 顺序 是 指 在 众多 的 消 电 中 ， 和 东 件 事情 
相关 的 多 条 消息 之 间 有 顺序 ， 而 多 件 事情 之 间 的 消 轧 则 没有 顺序 。 举 个 
交易 的 例子 吧 ， 在 交易 网 站 上 每 天 产生 的 交易 很 多 ， 并 且 是 由 很 多 人 产 
生 的 ， 那 么 不 同人 之 间 以 及 同一 个 人 的 不 同 笔 交 易 之 间 的 消 妃 其 实 是 相 
互 无 关 的 ， 不 必 保 持 顺 序 ， 但 是 对 于 同一 笔 交 易 的 状态 变化 所 产生 的 消 
恩 ， 保 证 其 顺序 古 很 有 价值 的 。 


我 们 看 一 个 具体 例子 。 假 设 线 上 交易 产生 的 消 妃 状态 依次 是 : 创建 
-> 付 球 一 发 货 一 确认 ， 现 在 有 两 笔 独 并 的 交易 进行 ， 在 没有 局 部 顺序 属 
性 时 会 是 下 面 这 样 的 情况 (如 图 6-33 所 示 ) 。 





























交易 创建 -A 





交易 付款 -B 
交易 付款 -A 


交易 创建 A 


一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 工 


图 6-33 无 顺序 消息 进入 消息 中 间 件 的 情况 


图 6-33 中 显示 了 两 笔 交 易 上 自身 状态 的 变化 ， 以 及 这 些 状 态 变 化 产生 
的 消 有 息 进 入 消 晨 中 间 件 的 情况 。 在 完全 有 序 的 情况 下 ， 如 果 这 些 消息 都 
能 顺利 处 理 ， 就 不 会 出 现 什么 问题 ， 而 如 果 因 为 数据 的 原因 或 者 程序 的 























原因 导致 茶 条 消 轧 总 是 处 理 失败 ， 那 么 为 了 保证 处 理 顺 序 ， 后 面 的 消 奶 
就 会 等 竺 前 面 这 一 条 消 轧 处 理 完 半 后 才 接 着 处 理 。 而 对 于 不 管 顺序 的 方 
式 ， 因 为 每 笔 交 易 的 状态 本 映 是 有 顺序 的 ， 如 果 前 面 一 个 状态 没 能 被 成 
功 处 理 ， 后 面 即便 调度 到 了 处 理 ， 也 是 简单 地 返回 失败 ， 因 为 需要 等 待 
前 一 个 状态 的 处 理 。 


所 以 ， 我 们 希望 达到 的 是 局 部 顺序 ， 即 交易 A 的 状态 改变 的 各 条 消 
因 之 间 有 顺序 ， 交 易 B 的 状态 改变 的 各 条 消息 之 间 也 有 顺序 ， 但 A 和 B 之 
间 的 消息 互 不 影响 ， 如 图 6-34 所 示 。 
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图 6-34 ”消息 局 部 顺序 示意 图 

也 就 是 说 在 消 恩 中 间 件 内 部 ， 有 非常 多 的 逻辑 上 独立 的 队列 。 文 持 

局 部 有 序 需 要 消息 上 有 一 个 关键 的 属性 ， 即 区 分 某 个 消息 应 该 与 哪些 消 
恩 一 起 排队 的 属性 字段 。 


6.2.8 ”保证 顺序 的 消 恩 队列 的 设计 


前 面 的 内 容 主要 是 在 讲解 如 何 能 够 可 靠 、 高 效 地 进行 消 轧 处 理 ， 而 
在 投递 属性 的 消息 局 部 顺序 其 实 也 引出 了 为 一 种 场景 ， 只 是 例子 中 的 局 



































部 顺序 的 队列 不 长 ， 但 古 实际 中 会 有 非常 多 的 这 种 队列 。 而 随 看 场景 的 
不 同 ， 我 们 需要 一 种 高 效 的 支 持 顺序 地 多 集群 订阅 的 消 奶 中 间 件 的 实 
现 。 





这 里 是 男 一 种 实现 ， 主 要 是 因为 这 里 面 的 场景 和 应 对 的 方案 与 前 面 
局 部 顺序 中 的 有 很 大 不 同 。 虽 然 两 个 场景 都 需要 文 持 多 集群 消息 订阅 ， 
但 是 在 消息 订阅 者 端 对 于 消息 的 处 理 有 很 大 差别 。 我 们 在 前 面 的 做 法 
(包括 放弃 对 顺序 的 支持 〉 的 原因 之 一 是 ， 同 一 个 消息 订阅 者 处 理 不 同 
的 消 妃 ， 成 功 与 否 可 能 会 跟 消 息 目 身 的 内 容 相关 ; 而 现在 要 介绍 的 场景 
人 
否 可 用 有 关 。 


我 们 看 一 个 具体 例子 。 在 给 手机 充值 的 交易 当中 ， 每 一 笔 充 值 会 
有 “创建 交易 - 付 球 成 功 - 确 认 充 值 * 的 状态 。 当 付 球 消息 发 出 来 后 ， 负 
责 充值 的 系统 会 收 到 这 个 消 奶 然后 进行 充值 ， 这 时 能 否 充值 成 功 不 仅 和 
负责 充值 的 合作 伙伴 是 人 否 可 用 有 关 ， 还 与 我 们 的 消息 内 容 有 关 。 例 如 ， 
输入 的 是 一 个 长 度 合法 但 实际 并 不 存在 的 手机 号 时 ， 充 值 一 定 会 失败 ， 
那么 这 个 付款 消 奶 束 无 法 处 理 成 功 ， 而 为 外 一 笔 充值 交易 中 ， 如 果 写 码 
古 正 确 的 ， 那 么 就 能 处 理 成 功 了 了 。 上 所 以 ， 在 这 个 场景 下 消 妃 处 理 是 否 成 
功 与 消息 体 中 的 内 容 是 相关 的 。 


再 看 男 外 一 个 例子 。 进 行 数据 复制 时 ， 源 数据 库 上 的 数据 变更 变 成 
消息 进入 消息 中 间 件 ， 这 时 只 要 目标 数据 库 可 用 ， 这 个 处 理 就 会 成 功 ， 
0 
四 的 关系 。 


在 这 样 的 场景 下 ， 一 个 否 吐 量 大 且 支 持 顺序 的 消 明 中 间 件 是 很 有 价 
值 的 。 前 面 介绍 数据 访问 层 的 革 节 中 ， 提 到 过 数据 变更 通知 平台 ， 束 是 
使 用 这 种 类 型 的 消 妃 中 间 件 的 一 个 具体 场景 。 


此 外 ， 在 这 个 场景 下 ， 对 于 接收 端的 设计 也 从 原来 的 推 (Push) 模 
式 变 为 了 拉 (Pull) 模式 ， 这 也 是 为 了 让 消息 接收 者 可 以 更 好 地 控制 消 
奶 的 接收 和 处 理 ， 而 消息 中 间 件 自身 的 馆 辑 也 进行 了 简化 。 


先 看 一 下 整体 的 结构 图 吧 ， 如 图 6-35 所 示 。 在 消息 中 间 件 内 部 ， 有 
多 个 物理 上 的 队列 ， 进 入 到 每 个 队列 的 消息 则 是 严格 按照 顺序 被 接收 和 
消 颖 的 ， 而 消 轧 中 间 件 单机 内 部 的 队列 之 间 是 互 不 影响 的 。 





















































图 6-35 ”保证 顺序 的 消息 队列 结构 








具体 实现 中 ， 消 妃 的 存储 就 写 到 本 地 文件 中 了 ， 和 采用 的 是 顺序 写 入 
的 方式 ， 其 基本 思路 与 本 章 开 始 所 讲 的 基于 文件 的 存储 比较 类 似 ， 也 是 
为 了 提升 写 入 的 效率 。 二 者 的 差别 是 ， 这 个 场景 中 不 存在 文件 的 空洞 ， 
因为 消 轧 必须 按照 顺序 去 消费 ， 所 以 ， 一 个 消 妃 接收 者 在 每 一 个 它 所 接 
收 的 消 妃 列队 上 有 一 个 当前 消费 消 恩 的 位 置 ， 对 于 这 个 接收 者 来 说 ， 这 
个 位 置 之 前 的 消 息 就 已 经 完成 消费 了 。 在 同一 个 列队 中 ， 不 同 的 消费 者 
分 别 维护 上 自己 的 指针 ， 并 且 通 过 指针 的 回溯 ， 可 以 把 消 妃 的 消费 恢复 到 
之 前 的 某 个 位 置 继续 处 理 ， 如 图 6-36 所 示 。 如 果 有 业务 等 的 需要 《例如 
消息 需要 补 发 )》 ， 那 么 移动 接收 端的 消费 消息 的 位 置 指针 就 可 以 完成 
了 。 在 这 样 的 方式 下 ， 接 收 闫 有 比较 大 的 目 主 控制 权 。 而 对 于 消 妃 中 间 
件 来 说 ， 重 要 的 是 保证 消息 安全 ， 然 后 根据 接收 端 提供 的 位 置 获取 消 晨 
传 给 接收 端 残 可 以 了 。 




















图 6-36 ”接收 端的 消息 接收 回溯 支持 








6.2.8.1 单机 多 队列 的 问题 和 优化 





单机 多 队列 的 隔离 完成 了 对 消息 的 有 序 文 持 。 在 具体 工程 中 ， 如 果 
单机 的 队列 数量 特别 多 ， 性 能 整 会 有 明显 的 下 降 ， 原 因 是 队列 数量 很 多 
时 ， 消 息 写 入 就 接近 于 随机 写 了 。 一 个 改进 措施 是 把 发 送 到 这 人 台 机 器 的 
消息 数据 进行 顺序 写 入 ， 然 后 再 根据 队列 做 一 个 索引 ， 每 个 队列 的 索引 


古 独 立 的 ， 其 中 保存 的 只 是 相对 于 存储 数据 的 物理 队列 的 索引 位 置 ， 如 
图 6-37 所 示 。 这 里 需要 注意 的 一 点 是 ， 在 单机 上 ， 物 理 队 列 的 数量 的 设 
置 与 磁盘 数 有 关 。 
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数据 队列 索引 队列 
图 6-37 数据 与 索引 队列 

这 样 改进 后 市 来 的 好 处 是 : 


。 队列 轻 量化 ， 单 个 队列 数据 量 非常 少 。 
。 对 人 破 盘 的 访问 串 行 化 ， 避 免 磁盘 竞争 ， 不 会 因为 队列 增加 导致 
IOWAIT 增 高 。 


i 0 0 














。 写 虽 然 完 全 是 顺序 写 ， 但 是 读 却 变 成 了 完全 的 随机 读 。 


。 读 一 条 消息 时 ， 会 移 读 逻 辑 队 列 ， 再 读物 理 队 列 ， 增 加 了 开销 。 
。 需要 保证 物理 队列 与 逻辑 队列 完全 一 致 ， 增 加 了 编程 的 复杂 上 度 。 


对 上 述 三 个 缺点 需要 进一步 改进 ， 以 克服 或 者 降低 影响 : 





随机 读 ， 尽 可 能 让 读 命中 PAGECACHE， 减少 IO 读 操作 ， 所 以 内 存 
越 大 越 好 。 如 果 系 统 中 堆积 的 消息 过 多 ， 读 数据 访问 磁盘 时 会 不 会 
由 于 随机 读 导 致 系统 性 能 急剧 下 降 呢 ?答案 是 否定 的 。 

o 访问 PAGECACHE 时 ， 即 使 只 访问 KB 的 消息 ， 系 统 也 会 提前 
预 读 出 更 多 数据 ， 在 下 次 读 时 ， 就 可 能 命中 内 存 。 

o 随机 访问 物理 队列 磁盘 数据 时 ， 系 统 IO 调 度 算法 设置 为 NOOP 
方式 ， 会 在 一 定 程度 上 将 完全 的 随机 读 变 成 顺序 跳跃 读 的 方 
式 ， 而 顺序 跳跃 读 会 比 完全 的 随机 读 的 性 能 高 5 倍 以 上 。 男 外 
4KB 的 消息 在 完全 随机 访问 情况 下 ， 仍 然 可 以 达到 每 秒 10000 
次 以 上 的 读 性 能 。 

由 于 逻辑 队列 存储 数据 量 极 少 ， 而 且 是 顺序 读 ， 在 PAGECACHE 预 
读 作 用 下 ， 逻 辑 队 列 的 读 性 能 几乎 与 内 存 一 致 〈 即 使 在 堆积 情况 下 
也 如 此 ) 。 所 以 可 以 忽略 逻辑 队列 对 读 性 能 的 阻碍 。 

物理 队列 中 存储 了 所 有 的 元 信息 ， 类 似 于 MySQL 的 binlog、Oracle 
的 redolog， 所 以 只 要 有 物理 队列 在 ， 即 使 逻辑 队列 数据 丢失， 仍然 
可 以 恢复 回来 。 





6.2.8.2 ”解决 本 地 消息 存储 的 可 靠 性 





消 妃 的 可 靠 性 永远 是 一 个 很 重要 的 话题 ， 在 这 个 方案 中 我 们 考虑 采 
用 消息 同步 复制 的 方式 解决 可 靠 性 的 问题 。 


。 把 单个 的 消息 中 间 件 机 器 变 为 主 〈Master) 备 〈Slave) 两 个 节点 ， 
Slave 节 点 订阅 Master 节 点 上 的 所 有 消息 ， 以 进行 消息 的 备份 。 不 过 
需要 注意 这 是 一 个 异步 的 操作 ，Slave 订 阅 收 到 的 消息 总 会 比 Master 
略 少 一 些 ， 存 在 着 丢失 消息 的 可 能 。 这 种 方式 比较 类 似 于 MySQL 
的 replication 。 

同样 是 把 单个 节点 扩展 到 Master/Slave 两 个 节点 ， 但 是 采用 的 是 同 
步 复制 的 方式 ， 而 非 订 阅 的 方式 ， 也 天 是 说 Master 收 到 消息 后 会 主 





动 写 往 Slave， 并 且 收 到 了 Slave 的 啊 应 后 才 辐 消 恩 发 送 者 返回 ”成 
功 ” 的 消 妃 。 


对 于 消息 数据 安全 性 要 求 非 钊 严格 的 场景 ， 采 用 第 二 种 方式 更 加 安 
全 和 保险 。 


6.2.8.3 如何 文 持 队列 的 扩容 


扩容 是 整个 系统 中 一 个 很 重要 的 环节 。 在 保证 顺序 的 情况 下 进行 扩 

容 的 难度 会 更 大 。 基 本 的 策略 是 让 同一 个 队列 写 入 数据 的 消 妃 发 送 者 能 

够 知道 应 该 把 消息 写 入 迁移 到 新 的 队列 中 ， 并 且 也 需要 让 消息 订阅 者 知 

党 当前 的 队列 消费 完 数据 后 需要 迁移 到 新 队列 去 消费 消 轧 《如 图 6-38 
过 





图 6-38 ”扩容 示意 图 





其 中 有 如 下 几 个 关键 点 : 








” 原 队 列 在 开始 扩容 后 需要 有 一 个 标志 ， 即 便 有 新 消息 过 来 ， 也 不 再 
。 通 知 消息 发 送 端 新 的 队列 的 位 置 。 


。 对 于 消息 接收 端 ， 对 原来 队列 的 定位 会 收 到 新 旧 两 个 位 置 ， 当 旧 队 
列 的 数据 接收 完毕 后 ， 则 会 只 关心 新 队列 的 位 置 ， 完 成 切换 。 


6.2.9 Push 和 Pull 方 式 的 对 比 


在 本 章 我 们 介绍 了 两 种 消息 中 间 件 的 实现 方式 一 一 Push 和 Pull， 它 
们 解决 不 同 场景 的 问题 ， 这 里 看 一 下 两 者 的 对 比 ， 如 表 6-14 所 示 。 


表 6-14 ”Push 和 Pull 方 式 的 对 比 








Push Pull 
数据 保存 在 服务 端 保存 在 消费 端 


传输 状 
传输 服务 端 需要 维护 每 次 不 需要 


失败 ， 传 输 状态 ， 遇 到 失败 
重 试 “” 情况 需要 重 试 








数据 非常 实时 默认 的 短 轮 询 方式 的 实时 性 依赖 于 Pull 
传输 实 间 阳 时间， 间隔 越 大 实时 性 越 低 。 长 轮 
时 性 询 模 式 的 实时 性 与 Push 一 致 








流 控 服务 并 需要 依据 订阅 ”消费 端 可 以 根据 自 喘 消费 能 力 决 定 是 否 
机 制 ” 者 的 消费 能 力 做 流 控 去 Pull 消 忆 


到 这 里 就 结束 了 对 消 妃 中 间 件 的 介绍 。 第 4、5、6 音 分别 介绍 了 服 
务 框 名 、 数 据 访 问 层 和 消息 中 间 件 ， 这 三 个 系列 的 产品 是 解决 分 布 式 系 
统 和 大 型 网 站 中 的 应 用 架构 问题 的 三 个 很 重要 的 产品 线 。 而 在 下 一 章 ， 
我 们 将 会 了 解 文 撑 这 三 个 产品 线 的 背后 的 基础 产品 ， 就 是 我 们 的 软 负 载 
和 配置 中 心 ， 这 两 个 产品 不 像 服务 框架 、 数 据 访问 屋 、 消 息 中 间 件 那样 
AN 
了 攻 











第 7 草 ” 软 负载 中 心 与 集中 配置 管理 


在 第 4、5、6 章 中 ， 我 们 介绍 了 中 间 件 面 癌 应 用 的 三 个 核心 产品 ， 
而 这 些 关 品 的 背后 是 需要 由 软 人 负载 中 心 和 集中 配置 管理 中 心 来 进行 支持 
的 ， 我 们 这 一 章 就 来 看 看 软 负载 中 心 与 集中 配置 管理 的 内 容 。 








7.1 初 识 软 负 载 中 心 


在 服务 框架 的 章节 中 ， 我 们 提 到 了 服务 注册 查找 中 心 是 用 于 定位 提 
供 服务 的 机 器 地 址 ， 这 个 服务 注册 查找 中 心 就 可 以 用 软 负载 中 心 来 实 
现 ， 如 图 7-1 所 示 。 


服务 调用 者 


服务 调用 者 





图 7-1 软 负 载 中 心 在 服务 调用 中 的 定位 


在 消 轧 中 间 件 中 ， 消 息 发 送 者 、 消 息 订 阅 者 对 于 消 妃 中 间 件 服务 器 
的 感知 也 是 通过 软 负载 中 心 来 完成 的 ， 如 图 7-2 所 示 。 
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图 7-2” 软 负载 中 心 在 消息 中 间 件 中 的 定位 





从 这 两 个 例子 可 以 看 到 ， 软 负载 中 心 有 两 个 最 基础 的 职责 ， 如 下 。 


一 是 聚合 地 址 信息 。 无 论 是 服务 框 染 中 需要 用 到 的 服务 提供 者 地 
， 还 古 消 息 中 间 件 系统 中 的 消 轧 中 间 件 应 用 的 地 址 ， 都 需要 由 软 负 载 
中 心 天 案 全 地址 列表 形成 一 个 可 供 服务 调用 者 及 消息 的 友 送 者 、 接 收 
者 直接 使 用 的 列表 。 


例如 ， 我 们 提供 的 交易 服务 有 三 台 机 器 ， 地 址 分 别 为 172.16.1.1、 
172.16.1.2 和 172.16.1.3， 服 务 的 端口 是 9527， 那 么 最 后 传 给 服务 调用 者 
的 信息 则 是 聚合 后 的 一 个 列表 信息 ， 如 图 7-3 所 示 。 








交易 服务 
172.16.1.1:9527 


交易 服务 We i , ， 
172.16.1.2:9527 次 负载 中 心 | 交 | 
| 172.16.1.1:9527 ! 

1 

1 


172.16.1.2:9527 ! 


1 1 
交易 服务 ! LZ TG ,39527 | 
172.16.1.3:9527 








图 7-3 ”地 址 聚合 


二 是 生命 周期 感知 。 软 负载 中 心 需 要 能 对 服务 的 上 下 线 目 动 感知 ， 
并 且 根 据 这 个 变化 去 更 新 服务 地 址 数据 ， 形 成 新 的 地 址 列表 后 ， 把 数据 
传 给 需要 数据 的 调用 者 或 者 消息 的 发 送 者 和 接收 者 。 


图 7-4 显 示 的 是 其 中 一 个 交易 服务 机 器 不 可 用 时 的 情况 ， 软 负载 中 
心 需要 能 够 感知 到 这 个 情况 ， 并 且 更 新 列表 数据 传 给 服务 调用 者 。 


交易 服务 
172.16.1.1:9527 





软 负 载 中 心 | 交易 服 : | 
! 172.16.1.1:9527 ! 
| 
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图 7-4 ”服务 上 下 线 感知 





7.2 软 负载 中 心 的 结构 


软 负 载 中 心包 括 两 部 分 ， 一 个 是 软 人 负载 中 心 的 服务 端 ， 男 一 个 是 软 
负载 中 心 的 客户 端 。 服 务 疹 主要 负 贡 感知 提供 服务 的 机 器 是 否 在 线 ， 聚 
合 提供 者 的 机 器 信息 ， 并 且 负 责 把 数据 传 给 使 用 数据 的 应 用 。 客 户 问 承 
载 了 两 个 角色 ， 作 为 服务 提供 者 ， 客 户 端 主要 是 把 服务 提供 者 提供 服务 
的 具体 信息 主动 传 给 服务 首 ， 并 且 随 着 提供 服务 的 变化 去 更 新 数据 ， 而 
作为 服务 使 用 者 ， 和 客户 端 主要 是 癌 服 务 端 告知 目 己 所 需要 的 数据 并 负责 
去 更 新 数据 ， 还 要 进行 本 地 的 数据 缓存 ， 通 过 本 地 的 数据 缓存 ， 使 得 每 
次 去 请 求 服务 获取 列表 都 是 一 个 本 地 操作 ， 从 而 提升 效率 和 性 能 。 


图 7-5 显 示 了 使 用 软 负载 中 心 的 应 用 与 软 负 载 中 心 的 关系 ， 还 可 以 
看 出 软 负 载 中 心 内 部 有 三 部 分 重要 的 数据 ， 分 别 介绍 如 下 。 














1 . 
1 datald,group:value! k - | groupld:connection ! 
| datald,group:value ! E : | groupld:connection ! 
! datald,group:value | ! groupld:connection | 
ee 1 1 i 1 





图 7-5” 软 负载 中 心 与 使 用 者 





。 聚合 数据 


就 是 聚合 后 的 地 址 信息 列表 。 对 于 提供 的 服务 信息 ， 我 们 
使 用 一 个 唯一 的 dataId 来 进行 标识 ， 并 且 对 于 同样 的 datald 是 文 
持 分 组 〈group) 的 ， 通 过 分 组 可 以 形成 一 个 二 维 的 结构 ， 后 
面 会 具体 介绍 分 组 的 应 用 。 通 过 datald 和 group 可 以 定位 到 唯一 


的 一 个 数据 内 容 ， 这 个 内 容 束 是 通过 聚合 完成 的 完整 数据 。 而 
这 个 信息 在 内 部 就 是 一 个 Key-Value 的 结构 。 





。 订阅 关系 


在 软 负 载 中 心中 ， 需 要 数据 的 应 用 (服务 使 用 者 等 ) 把 目 
己 需 要 的 数据 信息 告诉 软 负 载 中心 ， 这 就 是 一 个 订阅 关系 ， 订 
阅 的 粒度 和 聚合 数据 的 粒度 是 一 臻 的， 就 是 通过 dataId 和 group 
来 确定 数据 ， 那 么 会 有 datald、group 到 数据 订阅 者 的 分 组 
Id 〈consumberGroupId) 的 一 个 映射 关系 。 当 聚合 的 数据 有 变 
化 时 ， 也 是 通过 订阅 关系 的 数据 找到 需要 通知 的 数据 订阅 者 ， 
然后 去 进行 数据 更 新 的 通知 。 





。 连接 数据 


是 指 连接 到 软 负载 中 心 的 节点 和 软 负 载 中 心 已 经 建立 的 连 
接 的 管理 。 使 用 软 负 载 中心 的 应 用 时 ， 无 论 是 发 布 数据 还 是 订 
阅 数据 ， 都 会 有 一 个 自己 独立 的 分 组 Id (groupId) ， 而 连接 数 
据 就 是 用 这 个 groupId 作 为 key， 然 后 对 应 管理 这 个 物理 连接 
的 ， 采 用 的 是 长 连接 方式 。 那 么 ， 当 订阅 的 数据 产生 变化 时 ， 
通过 订阅 关系 找到 需要 通知 的 groupId， 在 连接 数据 这 里 就 能 够 
然后 进行 数据 的 发 送 ， 完 成 对 应 用 的 数据 更 








7.3 内容 聚合 功能 的 设计 


内 容 聚 合 是 软 负载 中 心 负责 的 很 重要 的 基础 工作 ， 在 内 容 聚 合 部 分 
需要 完成 的 工作 主要 是 两 个 。 





。 保证 数据 正确 性 


保证 数据 正确 是 基础 的 工作 ， 内 容 聚 合 主要 需要 保证 的 是 
并 发 场景 下 的 数据 珍 合 的 正确 性 ， 男 外 需要 考虑 的 是 发 布 数 据 
的 机 器 短 时 间 上 下 线 的 问题 ， 束 是 指 发布 数 据 的 机 器 刚 连 接 上 
来 或 友 布 数据 刚 传 上 来 ， 然 后 整 断 线 了 ; 或 者 是 断 线 以 后 很 快 
又 上 线 了 ， 又 发 布 数据 了 。 内 容 聚 合 主要 是 在 这 些 异 党 或 者 较 
为 复杂 的 场景 下 保证 数据 的 正确 性 。 














局 效 地 聚合 数据 非常 重要 ， 因 为 整个 软 人 负载 中 心 可 以 说 是 
系统 的 中 枢 ， 虽 然 软 负 载 中 心 并 不 在 服务 调用 或 者 消息 投递 的 
路 径 上 ， 但 是 服务 提供 者 、 消 息 中 间 件 等 的 服务 地 址 列表 都 是 
由 软 负载 中 心 进行 管理 的 。 因 此 高 效 地 聚合 数据 会 在 软 负载 中 
心目 身 重 局 或 者 服务 提供 者 大 面积 重启 时 带 来 很 大 的 便利 。 


我 们 来 看 看 数据 聚合 的 常规 方式 ， 这 里 讨论 的 前 提 是 采用 Java 实 
现 。 我 们 可 以 使 用 一 个 Map 的 结构 来 进行 数据 管理 ， 用 dataIld 和 数据 分 
组 的 Id (group) 作为 Key， 而 对 应 的 value 束 是 聚合 后 的 数据 。 无 论 有 数 
据 新 增 还 是 因为 服务 提供 者 下 线 而 需要 删除 数据 ， 直 接 根据 dataIld 和 
group 定 位 到 数据 去 处 理 就 可 以 了 。 


这 个 逻辑 在 功能 上 是 没有 问题 的 ， 有 以 下 几 个 关键 点 需要 注意。 








1. 并 发 下 的 数据 正确 性 的 保证 


我 们 采用 加 锁 或 者 线程 安全 容器 来 保证 并 友 下 的 数据 正确 。 先 看 看 
场景 ， 并 发 的 操作 会 是 数据 插入 、 更 新 、 删 除 这 三 个 在 一 起 的 操作 ， 其 
中 更 新 、 删 除 主 要 是 因为 同一 个 数据 的 不 同 数据 发 布 者 的 变化 造成 的 ， 
而 数据 插入 是 由 于 多 个 新 的 datald 同 时 有 进入 到 Map 结 构 的 需求 〈 例 
如 ， 软 负载 中 心 重 局 或 者 大 量 数据 发 布 者 重 局 时 ) 。 


我 们 可 以 用 ConcurrentHashMap 线 程 安全 地 并 发 HashMap 来 管理 所 
有 的 datald 的 数据 ， 这 在 并 发 上 比 Hashtable 或 加 锁 的 HashMap 要 好 很 
多 。 而 对 于 对 应 的 Value 的 处 理 也 是 我 们 需要 注意 的 地 方 。 一 种 方式 是 
使 用 LinkedList 来 实现 ， 但 是 注意 在 进行 数据 增删 时 需要 加 锁 ， 读 取 数 
据 时 也 需要 加 锁 ， 人 否则 是 非 线程 安全 的 。 另 外 也 可 以 用 一 个 
ConcurrentHashMap 来 实现 ， 其 中 的 Key 是 产生 这 个 数据 信息 的 数据 发 布 
者 的 标识 ， 而 Value 就 是 具体 的 数据 。 而 使 用 了 ConcurrentHashMap 也 需 
要 注意 在 新 增 datald 数 据 时 的 处 理 ， 因 为 这 时 可 能 是 多 个 线程 都 会 有 新 
0 0 ， 能 够 帮助 我 们 正确 地 处 理 
这 个 场景 。 


























2. 数据 更 新 、 删 除 的 顺序 保证 


所 发 布 数据 的 变化 主要 有 新 增 、 更 新 和 删除 ， 而 处 理 的 顺序 一 定 要 
和 真实 世界 中 的 顺序 一 致 ， 这 里 很 容易 出 现 的 问题 是 ， 在 网 络 连接 断 开 
后 删除 数据 与 数据 新 增 、 更 新 的 顺序 问题 。 


站 这 与 我 们 的 具体 实现 机 制 有 关系 ， 如 图 
7-6 所 不 。 





线程 2 线程 3 
收 到 B 发 布 收 到 A 连 接 


的 数据 断 开 
更 新 /新 雹 删除 A 发 布 

















图 7-6 多 线程 共同 处 理 数 据 方案 


我 们 采用 NIO 的 方式 通信 ， 通 过 Selector 的 方式 感知 连接 上 的 事件 ， 
包括 数据 可 读 、 数 据 可 写 、 建 立 连 接 、 连 接 断 开 等 事件 ， 然 后 把 这 些 交 
给 IO 线程 池 中 的 线程 处 理 ， 那 么 ， 更 新 、 新 增 数 据 和 连接 断 开 要 去 删除 
数据 就 可 能 在 两 个 线程 中 人 处理 。 而 如 果 是 发 布 数据 后 很 快 断 开 ， 那 么 保 
证 在 内 部 按照 顺序 来 处 理 就 很 关键 ， 因 为 如 果 顺 序 不 保证 ， 我 们 就 可 能 
先 处 理 了 删除 数据 ， 然 后 再 处 理 新 增 ， 这 样 数据 就 不 对 了 。 一 个 解决 的 
办 法 是 在 插入 数据 时 判断 当前 产生 数据 的 发 布 者 的 连接 是 否 还 存在 。 


这 个 部 分 在 实现 上 需要 特别 注意 ， 因 为 这 种 场景 的 发 生 概 率 虽 然 比 
较 小 ， 但 是 一 旦 出 现 问 题 就 很 难 排查 。 























3. 大 量 数据 同时 插入 、 更 新 时 的 性 能 保证 








采用 线程 安全 的 容器 ， 控 制 在 并 发 时 的 处 理 顺 序 与 实际 顺序 相同 ， 
这 都 是 为 了 保证 数据 聚合 功能 的 正确 性 ， 而 性 能 也 是 需要 特别 关注 的 
点 。 我 们 知道 ，ConcurrentHashMap 是 并 发 的 线程 安全 的 容器 ， 但 是 在 
进行 数据 写 的 时 候 还 是 会 有 锁 的 开销 的 ， 而 读 的 时 候 是 无 锁 的 《比较 特 
殊 的 情况 下 会 加 锁 ) 。 而 在 大 量 的 数据 插入 和 更 新 的 场景 ， 
ConcurrentHashMap 也 会 遇 到 性 能 问题 。 对 于 同样 的 datald,group 对 应 的 
数据 保存 ， 采 用 LinkedList 需 要 加 锁 ， 而 使 用 ConcurrentHashMap 则 在 数 
据 更 新 时 会 遇 到 和 插入 、 更 新 datald 一 样 的 问题 。 这 里 可 以 进行 一 下 优 
人 化， 就 是 根据 datald,group 进 行 分 线程 的 处 理 ， 也 就 是 说 ， 保 证 同样 的 


datald,group 的 数据 是 在 同一 个 线程 中 处理 的 ， 这 样 可 以 把 整个 数据 结构 
Re 并 且 也 可 以 在 数据 处 理 上 进行 一 定 程度 
多 合并 。 


到 这 里 读者 可 能 会 问 一 个 问题 ， 那 融 是 该 和 写 的 操作 之 间 怎 么 处 
理 ? 我 们 可 以 根据 datald,group 分 线程 来 处 理 数据 新 增 、 更 改 、 删 除 的 合 
并 数据 的 请 求 ， 那 么 读 取 数 据 该 怎么 做 呢 ? 我 们 可 以 把 读 的 操作 也 放 入 
相应 的 线程 中 处 理 ， 这 样 就 可 以 使 得 保存 数据 的 结构 完全 不 用 加 锁 束 能 
保证 线程 安全 。 


图 7-7 所 示 是 没有 根据 datald,group 进 行 分 线程 处 理 时 的 情况 。 





线程 1 线程 2 线程 3 
更 改 数据 更 改 数据 读 取 数 据 
(datald=1,group=“A”) (datald=1,group=“A”) (datald=1,group="“A") 


数据 存 屠 (加 锁 或 者 使 用 线程 安全 容器 ) 
datald=1,group=“A”: value="XXX” 




















图 7-7 多 线程 处 理 同 样 数据 产生 的 竞争 


改进 后 的 方案 (如 图 7-8 所 示 〉 增 加 了 任务 队列 、 对 应 的 处 理 线程 
及 对 应 的 数据 存储 。 这 样 ， 针 对 同样 数据 的 处 理 任务 是 在 同一 个 线程 
中 ， 我 们 可 以 直接 使 用 线程 不 安全 的 容器 ;而 多 线程 的 请 求 变 成 了 一 个 
顺序 队列 的 操作 ， 交 给 任务 队列 处 理 ， 任 务 队列 是 一 个 需要 线程 安全 的 
实现 ， 但 是 因为 这 里 的 操作 主要 束 是 “任务 加 入 队列 ”和 “任务 从 队列 中 
取出 ?”， 都 是 简单 的 操作 ， 锁 冲突 的 情况 相对 之 前 的 加 锁 进 行 数据 处 理 
要 好 多 了 。 数 据 更 新 的 线程 如 人 需要 等 待 更 新 结果 ， 那 束 只 要 进行 等 街 
了 ; 而 读 取 数据 则 一 定 需要 等 待 任务 执行 结束 后 才能 拿 到 数据 结 























线程 1 线程 2 
更 改 数据 更 改 数据 
(datald=1,group=“A”) (datald=1,group=“A”") 


数据 存储 1《〈 线 程 不 安全 容器 ) 数据 存储 2《〈 线 程 不 安全 容器 ) 
datald=1,group=“A": value=“XXX” datald=2,group=“A": value=“XXX” 
datald=3,group=“A": value=“XXX” datald=4,group=“A": value=“XXX” 




















图 7-8 同样 数据 单线 程 处 理 方案 

















7.4 解决 服务 上 下 线 的 感知 


软 负 载 负责 可 用 的 服务 列表 ， 当 服务 可 用 时 ， 需 要 自动 把 服务 加 到 
地 址 列表 中 ， 而 服务 不 可 用 时 ， 需 要 自动 从 列表 中 删除 。 这 就 是 我 们 所 
A 
人 很 大 的 优点 。 


服务 上 下 线 的 感知 ， 主 要 有 下 面 两 种 实现 方式 。 
1. 通过 客户 端 与 服务 端的 连接 感知 


无 论 是 数据 的 发 布 者 还 是 接收 者 都 与 软 负载 中 心 的 服务 器 维持 一 个 
长 连接 。 对 于 服务 提供 者 来 说 ， 软 负载 中 心 可 以 通过 这 个 长 连接 上 的 心 
跳 或 者 数据 的 发 布 来 判断 服务 及 布 者 是 人 否 还 在 线 。 如 果 很 久 没有 心跳 或 
数据 的 发 布 ， 则 判定 为 不 在 线 ， 那 么 就 会 取出 这 个 发 布 者 发 布 的 数据 ; 
Te 
中 。 


这 个 方式 有 一 个 结构 上 的 问题 ， 即 软 负 载 中 心 的 服务 器 属于 旁 路 ， 
也 就 是 次 它 并 不 在 调用 链 上 ， 当 软 负载 中 心目 身 的 负载 很 高 时 ， 是 可 能 
产生 误 判 的 。 例 如 ， 软 负载 中 心 压力 很 大 ， 处 理 请 求 变 慢 ， 心 跳 数据 来 
不 及 处 理 ， 会 以 为 心跳 超时 而 判定 服务 不 在 线 ， 认 为 服务 不 可 用 并 且 把 
信息 通知 给 服务 的 调用 者 ， 这 会 导致 原本 可 用 的 服务 被 下 线 了 。 


为 外 可 能 存在 的 问题 是 ， 如 果 服 务 友 布 者 到 软 负 载 中 心 的 网 络 链 路 
有 问题 ， 而 服务 发 布 者 到 服务 使 用 者 的 链 路 没 问 题 ， 也 会 造成 感知 的 问 
题 ， 如 图 7-9 所 示 。 这 种 情况 下 根据 连接 的 判定 束 有 问题 了 。 而 且 因 为 
软 负载 中 心 处 于 的 劳 路 ， 这 个 问题 并 不 容易 解决 。 解 决 方法 是 在 软 负 载 
中 心 的 客户 站 上 增加 逻辑 ， 当 收 到 软 负载 中 心 通知 的 应 用 下 线 数据 时 ， 
再 要 服务 调用 者 进行 验证 才能 接收 这 个 通知 。 但 是 这 个 方法 市 来 的 是 对 
每 个 服务 提供 者 的 一 次 额外 验证 。 




















服务 调用 者 由 业 ”服务 提供 者 
服务 调用 者 岁 服务 提供 者 


图 7-9 ”服务 提供 者 与 软 负 载 中心 链 路 问题 


























2. 通过 对 于 发 布 数据 中 提供 的 地 址 端口 进行 连接 的 检查 


前 面 提 到 了 如 果 软 负载 中 心目 身 负载 很 高 ， 那 么 通过 一 段 时 间 和 内 长 
连接 的 心路 和 数据 通信 来 判断 服务 发 布 者 是 否 在 线 存在 着 错 判 的 可 能 ， 
通过 外 部 的 一 个 主动 检查 的 方式 去 进行 判定 是 一 个 补偿 的 方式 ， 也 就 是 
当 通 过 长 连接 的 相关 感知 判断 服务 应 用 已 经 下 线 时 ， 不 直接 认定 这 个 服 
务 已 经 下 线 ， 而 是 交 给 男 一 个 独立 的 监控 应 用 去 验证 这 个 服务 是 否 已 经 
不 在 了 ， 方 式 一 般 是 通过 之 前 发 布 的 地 址 、 端 口 进 行 一 下 连接 的 验证 ， 
如 果 不 能 连接 ， 则 确认 机 器 确实 下 线 了 。 不 过 这 种 方式 同样 存在 一 个 问 
题 ， 即 进行 检查 确认 的 这 个 系统 也 可 能 和 服务 提供 者 之 间 存 在 网 络 问 
题 ， 而 服务 提供 者 与 服务 调用 者 之 间 是 正常 的 。 解 决 方法 也 还 是 需要 服 
务 调用 者 进行 最 终 确 认 ， 因 为 在 系统 中 进行 的 实际 业务 调用 通信 和 是 在 服 
务 调用 者 和 服务 提供 者 之 间 。 

















7.5 软 负载 中 心 的 数据 分 及 的 特点 和 


设计 
7.5.1 数据 分 发 与 消息 订阅 的 区 别 


使 用 软 负载 服务 的 数据 订阅 者 是 为 了 能 够 收 到 所 用 的 服务 地 址 列 
表 ， 这 在 软 负载 中 心 需要 进行 数据 分 发 的 工作 。 


前 面 提 到 过 在 软 负 载 中 心 的 服务 端 维护 了 一 个 订阅 关系 ; 在 第 6 章 
提 到 了 订阅 关系 ， 也 提 到 了 对 消息 的 推送 ， 还 提 到 了 订阅 者 的 分 组 。 那 
么 ， 消 息 中 间 件 的 订阅 、 消 息 的 接收 与 软 负 载 中 心 的 订阅 、 消 妃 的 接收 
有 什么 差别 呢 ? 主 要 有 以 下 两 方面 的 不 同 。 


第 一 个 兰 别 是 ， 消 息 中 间 件 需要 保证 消息 不 丢失 ， 每 条 消息 都 应 该 
送 到 相关 的 订阅 者 ， 而 软 负载 中 心 只 需要 保证 最 新 数据 送 到 相关 的 订阅 
者 ， 不 需要 保证 每 次 的 数据 变化 都 能 让 最 终 订 阅 者 感知 。 


举 个 例子 ，datald=1,group=“A” 的 数据 从 X 变 为 Y 变 为 Zz， 那 么 在 消 
县 中 间 件 中 的 情况 如 图 7-10 所 示 。 



































datald=1,group=“A’” 消息 中 间 件 


value=“2” 


datald=1,group=“A” 
value=“Y” 


datald=1,group=“A” 
value=“X” 


datald=1,group=“A” 
Value=“Z” 


datald=1,group=“A” 
value=“Y” 


datald=1,group=“A” 
value=“X” 


图 7-10 ”消息 订阅 下 的 数据 接收 


无 论 我 们 使 用 的 消 妃 中 间 件 是 人 否 文 持 消 妃 顺序 ， 订 阅 者 都 会 收 到 这 
| 而 在 软 负载 中 心中 ， 则 
可 能 会 收 到 一 条 消息 ， 可 能 收 到 两 条 ， 能 收 到 三 条 ， 如 图 7-11 所 
人 钞 。 




















datald=1,group=“A” 
value="“Z” 


datald=1,group=“A” 
value=“Y” 


datald=1,group=“A” 


订阅 者 








图 7-11 软 负 载 中 心 客户 端的 数据 接收 


无 论 如 何 ， 订 阅 者 最 终 < 收 到 的 数据 部 是 value="2" 这 个 最 新 的 数 
据 ， 因 为 对 于 服务 地 址 列表 来 说 ， 只 需要 保证 订阅 者 能 够 收 到 最 新 的 数 


据 束 可 以 了 。 


第 二 个 差别 是 关于 订阅 者 的 集群 ， 也 就 是 订阅 者 的 分 组 。 在 消 奶 中 
间 件 中 ， 同 一 个 集群 中 的 不 同 机 融 是 分 享 所 有 消 妃 的 ， 因 为 这 个 消息 只 
要 同一 集群 中 的 一 台 机 需 去 处 理 了 就 行 了 。 而 在 软 负载 中 心 则 不 同 ， 因 
为 软 负载 中 心 维护 的 是 大 家 都 需要 用 的 服务 数据 ， 所 以 ， 需 要 把 这 个 数 
和 


7.5.2 ”提升 数据 分 发 性 能 需要 注意 的 


问题 


























要 提升 数据 分 发 性 能 ， 可 以 从 下 面 两 个 方面 考虑 。 


。 数据 压缩 


我 们 的 数据 都 是 和 服务 相关 的 信息 ， 数 据 压 缩 可 以 很 好 地 
降低 数据 量 ， 提 升 网 络 吞 叶 能 力 ， 使 用 CPU 来 换 带 宽 ， 这 对 于 
软 负载 中 心 还 是 非常 有 用 的 。 而 且 因为 很 多 服务 的 订阅 集群 不 
止 一 个 ， 每 个 集群 中 的 机 絮 也 不 止 一 个 ， 所 以 一 份 数 据 需 要 投 
递 的 目标 是 很 多 的 ， 压 缩 一 次 所 带 来 的 流量 下 降 是 很 明显 的 。 
所 以 数据 压缩 是 一 定 要 考 感 的 方面 。 











。 全 量 与 增 量 的 选择 


从 前 面 的 介绍 可 以 看 到 发 布 者 提供 的 服务 信息 数据 会 随 厦 
提供 服务 的 机 器 的 变化 而 变化 ， 而 每 个 变化 都 会 引起 这 个 服务 
的 整体 服务 数据 的 更 新 ， 那 么 ,我们 是 每 次 把 整个 最 新 的 数据 
0 

2 





每 次 传递 全 量 数 据 ， 整 体 的 设计 和 逻辑 会 非常 简单 ， 缺 点 
古 传送 的 数据 量 大 。 而 传递 增 量 数据 ， 每 次 传送 的 数据 量 小 ， 





但 是 逻辑 会 复杂 很 多 。 建 议 在 刚 开 始 的 实现 中 采用 简单 的 方 
式 ， 也 就 是 传送 全 量 数据 ， 当 全 量 的 数据 很 大 时 ， 就 需要 考虑 
采用 增 量 传送 的 方式 来 实现 了 。 


7.6 ”针对 服务 化 的 特性 文 持 
7.6.1 软 负 载 数 据 分 组 


在 前 面 的 小 节 我 们 看 到 了 数据 的 分 组 ， 通 过 数据 标识 〈datald) 和 
分 组 (group) 来 唯一 确定 数据 。 那 么 ， 为 什么 要 引入 分 组 呢 ? 分 组 主 
要 是 为 了 进行 隔离 ， 分 组 本 喘 就 是 一 个 命名 空间 ， 用 来 把 相同 的 dataId 
的 内 容 分 开 ， 也 就 是 给 dataIld 加 上 了 一 个 namespace。 分 组 主要 用 在 下 面 
两 种 场景 。 





。 根据 环境 进行 区 分 


这 比较 多 地 用 于 线 下 的 环境 。 我 们 在 线 下 开发 、 测 试 的 环 
境 中 ， 需 要 对 不 同 的 环境 、 项 目 进行 隅 离 和 区 分 ， 而 分 组 就 可 
以 很 好 地 支持 这 一 功能 。 可 以 对 不 同 组 的 服务 提供 者 和 调用 者 
进行 隔离 ， 使 之 互 不 可 见 。 





。 分 优先 级 的 隔离 


这 更 多 用 于 线 上 运行 系统 的 隅 离 。 也 惑 是 可 以 把 提供 同样 
服务 的 提供 者 用 组 的 概念 分 开 ， 重 要 的 服务 使 用 者 会 有 专 有 的 
i 0 
组 。 


关于 分 组 的 方式 ， 需 要 文 持 指定 分 组 的 API 设 置 方式 ， 以 及 根据 IP 
地 址 自动 归 组 的 方式 ， 根 据 P 地 址 自动 进行 归 组 可 以 带 来 更 大 的 灵活 性 
和 运 维 的 便利 性 。 





7.6.2 ”所 供 目 动感 知 以 外 的 上 下 线 开 


~ 


前 面 小 节 看 到 了 软 负 载 中 心 对 机 器 上 下 线 的 目 动感 知 ， 而 机 器 的 上 
下 线 还 需要 通过 指令 而 非 机 需 状 态 来 控制 ， 这 个 控制 的 文 持 必然 是 要 放 
在 软 负 载 中 心 来 完成 。 


之 所 以 在 机 器 的 状态 外 进行 控制 ， 主 要 有 下 面 两 个 考虑 。 








。 优雅 地 停止 应 用 


如 打 徘 机 器 是 否 存 活 来 判断 服务 是 否 有 效 ， 那 么 只 有 关 挥 
应 用 ， 才 能 将 它 从 服务 列表 中 拿 到 ， 那 么 这 时 正在 执行 的 服务 
就 失败 了 。 我 们 应 该 先 从 服务 列表 中 去 反 这 个 机 需 ， 等 竺 当时 
正在 执行 的 服务 结束 ， 然 后 再 停止 应 用 。 通 过 指令 直接 从 软 负 
载 中 心 使 机 器 下 线 ， 是 可 以 帮助 做 到 这 一 点 的 。 


。 保持 应 用 场景 ， 用 于 排 错 


遇 到 服务 的 问题 时 ， 可 以 把 出 问题 的 服务 留 下 一 台 进 行 故 
障 定位 和 场景 分 析 。 这 时 需要 把 这 台 机 器 从 服务 列表 中 拿 下 
来 ， 以 免 有 新 的 请 求 进来 造成 服务 的 失败 。 这 也 是 需 要 软 负载 
中 心 直 接 使 服务 下 线 的 一 个 场景 。 


7.6.3 ”维护 管理 路 由 规则 


第 4 章 中 介绍 了 路 由 规则 ， 而 这 个 规则 本 号 需要 进行 统一 的 维护 ， 
软 负载 中 心 可 以 管理 这 些 数据 ， 不 过 这 些 数据 与 服务 地 址 列表 的 特性 不 
同 。 笔 者 最 初 见 到 的 古 将 一 些 类 似 服务 地 址 列表 这 样 的 非 持久 数据 和 路 
由 规则 、 消 妃 订 阅 关 系 等 持久 数据 放 在 一 起 处 理 的， 这 样 做 复 用 了 数据 
推送 、 客 户 端 缓存 等 基础 组 件 ， 但 是 也 带 来 了 比较 多 的 问题 。 后 来 对 不 
a 6 0 0 
理 ” 中 讲 到 。 


7.7 ”从 单机 到 集群 


当 我 们 的 系统 规模 还 不 大 时 ， 单 机 加 上 一 个 备份 机 器 的 方式 束 可 以 
充当 软 负载 中 心 。 备 份 机 器 只 是 在 主机 不 能 恢复 时 才 使 用 ， 因 为 软 负载 
中 心 管理 的 都 是 地 址 信息 这 样 的 运行 时 可 聚合 信息 ， 所 以 这 个 方案 相对 
也 比较 简单 。 


随 痢 整个 应 用 集群 的 规模 越 来 越 大 ， 单 机 会 遇 到 连接 数 以 及 数据 推 
送 方面 的 租 贷 (内存 一 般 还 不 是 问题 ， 那 么 如 何 把 单机 方式 的 软 负载 
中 心 变 为 一 个 集群 就 是 一 件 很 重要 的 事情 了 。 


在 前 面 两 草 的 服务 框架 和 消息 中 间 件 中 ， 对 于 集群 提 到 的 并 不 是 特 
别 多 ， 主 要 是 因为 对 于 服务 框架 来 说 ， 用 到 的 场景 是 服务 的 调用 ， 而 服 
务 本 身 多 是 无 状态 的 ， 其 中 的 集群 处 理 相 对 比较 简单 ， 而 在 消 妃 系统 
中 ， 如 有 果 消 息 中 间 件 本 号 不 在 本 地 存储 消 妃 数据 ， 那 束 也 是 一 个 基本 无 
状态 的 集群 ， 而 如 果 本 地 存储 了 数据 ， 则 主要 涉及 数据 迁移 的 问题 。 消 
恩 中 间 件 及 服务 框架 中 的 服务 提供 者 除了 可 能 的 数据 迁移 外 ， 都 是 依赖 
软 负 载 中心 来 完成 服务 地 址 列表 更 新 的 。 如 果 软 负载 中 心 从 单机 走向 集 
群 ， 我 们 需要 解决 的 问题 有 什么 呢 ?” 主 要 有 以 下 两 方面 。 





























。 数据 管理 问题 
软 负载 中 心 聚 合 了 整个 分 布 式 集群 中 的 服务 地 址 信息 。 在 
单机 的 情况 下 ， 这 些 数据 都 统一 地 存在 这 个 软 负载 中 心机 器 
上 ， 那 么 变 为 集群 时 ， 数 据 应 该 怎么 维护 保存 呢 ? 
。 连接 管理 问题 
在 单机 时 ， 所 有 的 数据 发 布 者 和 数据 订阅 者 都 会 连接 到 这 
台 软 负载 中 心 的 机 器 上 ， 而 从 单机 变 成 集群 时 ， 这 些 数据 发 布 
者 和 数据 订阅 者 的 连接 应 该 怎么 管理 呢 ? 
这 两 个 问题 有 不 同 的 解决 方案 ， 我 们 下 面 从 数据 管理 的 维度 展开 介 


ee 
上 二 


7.7.1 数据 统一 管理 方案 


这 个 方案 是 对 数据 进行 统一 管理 ， 也 就 是 把 数据 聚合 放 在 一 个 地 
方 ， 这 样 负责 管理 连接 的 机 器 束 可 以 是 无 状态 的 了 ， 如 图 7-12 上 所 示 。 





























过 
be 


图 7-12 ”数据 统一 管理 








可 以 看 到 ， 整 个 结构 分 为 三 层 ， 聚 合 数据 这 一 层 就 是 在 管理 数据 ; 
而 软 负 载 中 心 的 机 器 则 是 无 状态 的 ， 不 再 管理 数据 ;对 于 数据 发 布 者 和 
订阅 者 来 说 ， 选 择 软 负载 中 心 集群 中 的 任何 一 个 机 器 连接 省 可 ， 因 为 软 
负载 中 心 的 机 器 是 对 等 的 。 


对 这 个 方案 可 以 做 一 个 改变 ， 即 把 软 负载 中 心 集群 中 的 机 器 的 职责 
分 开 ， 就 是 把 聚合 数据 的 任务 和 推送 数据 的 任务 分 到 专门 的 机 器 上 处 
理 ， 如 图 7-13 所 示 。 





软 负 载 中 心 软 负载 中 心 
数据 育 合 数据 推送 






数据 发 布 者 数据 订阅 者 数据 订阅 者 
图 7-13 ” 软 负 载 应 用 分 工 后 的 数据 统一 管理 方案 


可 以 看 到 ， 发 布 者 和 订阅 者 的 连接 是 分 开 管 理 的， 而 集群 中 的 应 用 
分 工 更 加 明确 。 为 了 提升 性 能 ， 在 软 负载 中 心 负责 数据 推送 的 机 器 上 是 
可 以 对 聚合 数据 做 缓存 的 。 


数据 统一 定理 方式 主要 是 把 数据 抽出 来 集中 进行 管理 ， 结 构 和 职员 
都 比较 清晰 。 不 过 需要 注意 的 是 必须 保证 “聚合 数据 ”这 个 统一 数据 管理 
层 的 可 用 性 ， 因 为 如 果 这 部 分 出 问题 ， 又 没有 容 灾 策 略 ， 那 么 整个 软 负 
载 中 心 束 不 能 正常 工作 了 。 


7.7.2 ”数据 对 等 管理 方案 


除了 上 面 的 数据 统一 管理 方式 外 ， 另 一 种 策略 是 将 数据 分 散在 各 个 
软 负载 中 心 的 节点 上 ， 并 且 把 目 己 节点 管理 的 数据 分 发 到 其 他 节点 上 ， 
从 而 保证 每 个 节点 都 有 整个 集群 的 全 部 数据 ， 并 且 这 些 节 点 的 角色 是 对 


等 的 。 

















同样 的 ， 使 用 软 负 载 中 心 的 数据 发 布 者 和 数据 订阅 者 只 需要 去 连接 
软 负载 中 心 集 群 中 的 任何 一 人 台 机 器 就 可 以 了 ， 数 据 发 布 者 只 需要 把 数据 





发 布 给 这 一 台 机 硕 ， 而 数据 订阅 者 只 需要 从 这 一 合 机 器 上 进行 订阅 。 


在 软 负载 中 心 集 群 内 部 ， 各 个 节点 之 间 会 进行 数据 的 同步 ， 所 以 ， 
一 台 软 负载 中 心 收 到 的 数据 会 传 给 其 他 节点 ， 也 会 收 到 其 他 节点 同步 过 
来 的 数据 ， 从 而 形成 各 个 节点 的 数据 都 对 等 的 状态 (如 图 7-14 所 示 〉。 
TR i 0 
实现 。 


数据 发 布 者 


数据 订阅 者 





数据 订阅 者 
里 方案 


图 7-14 ”数据 对 等 管理 


那么 软 负 载 中 心 的 各 个 节点 之 间 的 数据 怎么 同步 呢 ? 可 以 互相 进行 
数据 的 发 布 ， 也 就 是 次 ， 如 果 软 负载 中 心 A 需 要 把 数据 同步 给 软 负载 中 
心 B， 那 么 软 负 载 中 心 A 就 作为 一 个 数据 及 布 者 把 数据 发 布 给 软 负载 中 
心 B 就 可 以 了 。 软 负载 中 心 B 基 本 可 以 按照 一 个 普通 的 数据 发 布 者 来 处 
理 A， 差 别 是 当 B 要 把 上 自己 的 数据 发 布 给 其 他 节点 时 ， 从 A 收 到 的 数据 是 
不 需要 发 布 的 ， 因 为 A 自己 会 去 友 布 。 


这 个 方式 可 以 复 用 现 有 的 软 负载 中 心 的 客户 端 ， 不 过 也 带 来 了 同步 
效率 的 问题 ， 因 为 服务 提供 者 发 布 数据 的 量 相对 是 很 小 的 ， 而 且 是 一 旦 
有 数据 要 发 布 ， 束 直接 去 进行 通信 了 。 而 对 于 软 负载 中 心 布 点 间 的 数据 
同步 ， 在 发 生变 动 时 需要 同步 的 数据 量 比较 大 ， 这 时 如 果 能 够 进行 批量 
处 理 惑 会 更 加 高 效 。 例 如 ， 一 个 提供 服务 的 集群 有 100 人 台 机 器 ， 那 么 当 
这 个 集群 重 局 时 ， 理 论 上 对 于 这 个 服务 地 址 列表 会 有 100 次 变化 ， 我 们 
没有 必要 在 软 负 载 中 心 的 节点 中 同步 每 次 变化 ， 只 要 合并 这 些 变 化 后 同 
步 一 次 就 可 以 了 。 
































因此 在 相对 大 型 的 场景 下 ， 对 于 软 负载 中 心 集群 内 部 节点 间 的 数据 
同步 ， 独 立 实 现 会 比 复 用 客户 器 的 发 布 功能 更 加 高 效 一 些 。 有 具体 同步 
时 ， 可 以 设置 一 个 间隔 ， 把 这 个 间 阳 内 的 数据 变化 合并 后 再 进行 一 次 同 


lo 





图 7-14 中 展示 的 是 由 三 个 节 扣 组 成 的 集群 ， 如 果 节 点 较 多 的 话 ， 那 
么 整个 同步 的 量 会 比较 大 ， 这 时 也 同样 可 以 对 集群 内 的 节点 进行 职 贡 划 
分 ， 如 图 7-15 所 示 。 








数据 订阅 者 
图 7-15” 软 负载 应 用 分 工 后 的 数据 对 等 管理 方案 


可 以 看 到 ， 在 图 7-15 中 也 是 把 软 负 载 中 心 集群 内 的 节点 分 为 了 两 
种 ， 一 种 是 进行 数据 分 发 的 节 上 扣 ， 男 一 种 是 进行 数据 聚合 的 市 颇 ， 只 负 
员 和 数据 发 布 者 连接 ， 有 聚合 连接 到 上 自己 节点 上 的 数据 友 布 者 的 数据 ， 并 
且 把 聚合 后 的 数据 同步 给 进行 数据 分 及 的 机 强 。 可 以 看 到 ， 人 负责 数据 聚 
合 的 软 负 载 中心 的 节点 之 间 是 没有 联系 的 ， 负 贡 数 据 分 发 的 软 负载 中 心 
的 节 扣 之 间 也 没有 联系 ， 而 每 个 负责 数据 聚合 的 软 负 载 中 心 节 把 和 每 个 
负 贡 数据 分 发 的 软 负载 中 心 节 扣 部 有 一 个 连接 。 而 在 图 7-14 的 方案 中 ， 
集群 内 的 每 个 节点 之 间 都 有 连接 ， 都 互相 同步 数据 。 


我 们 来 分 析 一 下 同样 4 个 节点 时 ， 软 负载 应 用 不 分 工 和 分 工 两 种 广 
式 下 的 数据 同步 的 量 。 如 果 不 分 工 且 4 个 节点 完全 对 等 的 话 ， 理 想 情况 
下 每 个 节点 管理 1/4 的 发 布 者 数据 ， 然 后 需要 把 自己 管理 的 数据 同步 给 3 











个 节点 ， 而 且 这 4 个 市 上 部 要 做 同样 的 事情 。 假 设 数据 量 的 大 小 是 4， 而 
且 数 据 很 快 到达 稳 定 并 进行 同步 ， 那 么 需要 同步 的 数据 是 1/4dqx3x4 王 
3d。 如 果 分 工 图 7-15 中 的 方案 ) ，2 个 市 点 负责 数据 的 聚合 ，2 个 节点 
负责 数据 分 及 ， 那 么 聚合 数据 市 点 窟 理 的 数据 理想 情况 下 各 是 1/2， 志 
要 同步 给 2 个 市 把， 一 共 2 个 节 扣 要 去 同步 ， 那 么 同步 的 数据 量 就 是 
1/2dx2x2 王 2d。 


我 们 可 以 用 一 个 公式 来 看 一 下 同步 数据 量 的 对 比 ， 前 提 是 两 个 集群 
的 节点 数量 相同 。 假 设 集群 节点 数量 是 x， 在 分 工 的 方案 中 ， 我 们 假定 x 
个 节点 中 a 个 节点 是 进行 数据 聚合 的 ， 总 数据 量 为 dg。 则 对 于 第 一 种 方 
案 ， 需 要 同步 的 数据 量 是 1/xdx (x-1) xx 二 (x-1) d; 对 于 第 二 种 方 
案 ， 需 要 同步 的 数据 量 是 Vadx (x-q) xa 二 (x-q) d。 也 就 是 说 ， 如 果 
第 二 种 方案 的 聚合 数据 的 节点 数 大 于 1 的 话 ， 那 么 需要 同步 的 数据 量 就 
比 第 一 种 方案 小 了 ， 如 果 等 于 1， 则 两 种 方案 一 样 。 


如 果 整 个 集群 管理 的 总 体 数据 很 多 ， 超 出 了 单机 的 限制 的 话 ， 那 么 

就 需要 根据 datald，group 对 数据 进行 分 组 管理 ， 让 每 个 节点 管理 一 部 分 

数据 。 也 就 是 用 规则 对 数据 进行 类 似 分 库 分 表 的 操作 。 不 过 如 果 走 到 这 

本 数据 订阅 者 可 能 束 需 要 连接 多 个 数据 分 发 节点 了 《如 图 7-16 
有 小 总 





















































图 7-16 ”数据 分 组 且 软 负载 应 用 分 工 后 的 数据 对 等 管理 方案 




















图 7-16 中 ， 数 据 分 发 A 和 数据 分 发 B 这 两 个 软 负 载 中 心 节 点 管理 的 
数据 是 不 同 的 ， 所 以 ， 数 据 订 阅 者 根据 目 己 要 订阅 的 数据 可 能 连接 需要 
多 个 数据 分 发 的 节点 。 而 数据 聚合 的 节 氮 将 数据 同步 给 数据 分 上 友 节 点 的 
时 候 ， 也 需要 根据 相应 的 数据 划分 的 规则 进行 同步 。 





7.8 ”集中 配置 管理 中 心 


接 下 来 我 们 看 看 集中 配置 管理 中 心 是 什么 。 在 最 初 的 时 候 ， 我 们 只 
有 软 负载 中 心 ， 软 负载 中 心 除了 管理 服务 地 址 列表 外 ， 路 由 规则 、 消 息 
的 订阅 关系 等 也 都 在 软 负 载 中 心 保存 。 其 实 这 些 数据 的 特性 并 不 相同 ， 
我 们 可 以 从 数据 是 否 持 久 以 及 是 否 需 要 聚合 两 个 维度 对 数据 进行 分 类 。 


持久 指 的 是 数据 本 身 与 联 发 布 者 的 生命 周期 无 关 的 ， 典 型 的 是 持久 
订阅 关系 、 路 由 规则 、 数 据 访 问 层 的 分 库 分 表 规 则 和 数据 库 配 置 等 ， 非 
持久 则 是 和 发 布 者 生命 周期 有 关联 的 ， 例 如 服务 地 址 列表 。 此 外 ， 服 务 
地 址 列表 、 订 阅 关 系 等 数据 是 需要 涌 合 的 ;而 路 由 规则 以 及 一 些 设置 项 
的 内 容 则 不 需要 聚合 。 具 体 可 以 分 为 非 持久 /聚合 、 持 久 / 肥 合 、 持 久 / 非 
聚合 和 非 持 入 / 非 肾 合 四 类 。 我 们 按照 数据 是 否 持 久 进行 划分 ， 软 负载 
中 心 管理 的 是 非 持 久 数 据 ， 而 集中 配置 管理 中 心 则 是 为 了 管理 持久 数 
据 ， 两 者 都 可 以 文 持 聚合 的 数据 。 


对 于 集中 配置 管理 中 心 来 次， 最 为 关心 的 是 稳定 性 和 各 种 异常 情况 
下 的 容 灾 生 略 ， 其 次 是 性 能 和 数据 分 发 的 延迟 。 集 中 配置 管理 中 心 存 储 
的 基本 都 是 各 个 应 用 和 集群、 中 间 件 产品 的 关键 管理 配置 信息 ， 以 及 一 些 
配置 开关 。 我 们 通过 集中 配置 管理 中 心 统一 进行 运行 时 的 控制 ， 通 过 改 
变 配 置 的 内 容 进 而 影响 应 用 的 行为 。 


接 下 来 我 们 来 看 一 下 集中 配置 管理 中 心 的 结构 ， 如 图 7-17 所 示 。 
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图 7-17 集中 配置 管理 中 心 结构 











我 们 通过 主 备 的 持久 存储 来 保存 持久 数据 ， 一 般 采 用 关系 型 数据 库 
(例如 MySQL)〉 。 通 过 两 个 节点 的 主 备 来 解决 持久 数据 安全 的 问题 。 


集中 配置 管理 中 心 集群 这 一 层 由 多 个 集中 配置 管理 中 心 的 节点 组 
成 ， 这 些 贡 点 是 对 等 的 。 都 可 以 提供 数据 给 应 用 端 ， 也 都 可 以 接收 数据 
的 更 新 请 求 并 更 改 数据 库 。 这 些 节 点 之 间 互 不 依赖 。 


在 集中 配置 管理 中 心 的 单个 节点 中 ， 我 们 部 署 了 Nginx 和 一 个 Web 
应 用 ， 其 中 Web 应 用 主要 负责 完成 相关 的 程序 逻辑 〈 例 如 数据 库 的 相关 
操作 ) ， 以 及 根据 卫 等 的 分 组 操作 〈 这 个 基于 卫 的 分 组 类 似 于 软 负 载 中 
心中 的 基于 卫 的 分 组 ) 。 也 就 是 我 们 整个 应 用 的 逻辑 都 放 在 了 Web 应 用 
中 。 单 机 的 本 地 文件 (Local File) 则 是 为 了 容 灾 和 提升 性 能 ， 客 户 端 进 
人 
给 请 求 端 。 


对 集中 配置 管理 中 心 的 使 用 分 为 了 以 下 两 部 分 。 


























。 提供 给 应 用 使 用 的 客户 端 


主要 是 业务 应 用 通过 客户 端 去 获取 配置 信息 和 数据 ， 用 于 
数据 的 读 取 。 应 用 本 里 不 去 修改 配置 数据 ， 而 是 根据 配置 来 决 











定 和 更 改 目 身 应 用 的 行为 。 








。 为 控制 台 或 者 控制 脚本 提供 管理 SDK 


这 个 SDK 包 括 了 对 数据 的 读 写 ， 通 过 管理 SDK 可 以 进行 配 
置 数据 的 更 改 。 


7.8.1 客户 问 实 现 和 容 灾 束 上 略 


客户 端 通过 HTTP 协 议 与 集中 配置 管理 中 心 进行 通信 。 采 用 HTTP 协 
议 而 不 是 私有 协议 可 以 更 方便 地 文 持 多 种 语言 的 客户 端 ， 而 且 可 以 方便 
地 进行 测试 和 问题 定位 。 那 么 ， 采 用 HTTP 协 议和 集中 配置 管理 中 心 进 
行 交 互 ， 这 相对 于 之 前 私有 协议 的 Socket 长 连接 来 说 是 一 种 轮 询 的 方 
式 。 考 虑 到 服务 端的 压力 ， 轮 询 的 间隔 是 不 能 太 短 的 ， 而 这 样 会 影响 获 
取 数 据 的 时 效 性 。 


在 此 基础 上 的 一 个 改进 是 采用 长 轮 询 (Long ”Polling) 的 方式 ， 如 
图 7-18 所 示 。 




















客户 端 服务 端 
建立 连接 ， 发 送 请 求 


返回 数据 ， 关 闭 连 接 


建立 连接 ， 发 送 请 求 





超时 人 返回， 关闭 连接 


图 7-18 ”长 轮 询 示意 图 


建立 连接 并 且 发 送 请 求 后 ， 如 条 有 数据 ， 那么 长 轮 询 和 普通 轮 询 芯 
刻 返 回 ; 如 果 没 有 数据 ， 长 轮 询 会 等 得 ， i 那么 就 立刻 返 
回 ， 如 果 一 直 没 有 数据 ， 则 等 到 超时 后 返 连接 ， 而 普通 轮 
询 就 直接 返回 了 。 


可 以 看 出 ， 采 用 长 轮 询 的 方式 ， 数 据 分 发 的 实时 性 比 普 通 轮 询 要 好 
很 多 ， 和 Socket 从 连接 方式 大 体 相同 ， 不 过 长 轮 询 需 要 不 断 地 建立 连 
接 ， 这 是 它 相 对 于 Socket 长 连接 方式 的 弱点 ， 可 以 说 HITP 长 轮 询 方式 
是 HTTP 普通 轮 询 和 Socket 长 连接 方式 的 折 中 。 


接 下 来 我 们 再 看 一 下 对 容 灾 的 考虑 。 在 客户 端 ， 提 供 了 如 下 4 个 特 


数据 缓存 


是 指 每 次 收 到 服务 端的 更 新 后 对 数据 的 缓存 ， 绥 存 的 作用 
是 当 服 务 端 因 忙 而 不 能 及 时 啊 应 数据 获取 请 求 时 ， 为 应 用 提供 
一 个 可 选 的 获取 数据 的 方案 。 使 用 本 地 的 缓存 不 能 保证 获取 最 
新 的 数据 ， 但 是 能 保证 获得 比较 新 的 数据 。 在 一 些 场景 下 ， 应 
用 需要 的 是 获得 相应 的 数据 然后 继续 业务 迎 辑 ， 是 否 是 当下 最 
SR 




















数据 快照 


数据 缓存 能 够 缓存 应 用 客户 端 获 取 到 的 最 新 数据 ， 而 数据 
快照 保存 的 是 最 近 儿 次 更 新 的 数据 ， 数 据 是 比 缓存 的 数据 旧 一 
些 ， 但 是 会 保持 最 近 的 多 个 版 本 。 数 据 快照 用 于 服务 并 出 现 问 
题 并 且 由 于 各 种 原因 不 能 使 用 数据 缓存 时 ， 例 如 缓存 的 最 新 的 
数据 配置 古 一 个 有 问题 的 配置 ， 如 果 这 时 服务 端 不 正常 的 话 ， 
就 可 以 从 更 早 几 个 版 本 的 数据 快照 中 进行 恢复 。 





本 地 配置 


正常 情况 下 ， 应 用 通过 集中 配置 使 用 服务 端 所 给 的 配置 、 
数据 管理 中 心 客户 器 ， 但 是 如 果 遇 到 服务 端 不 工作 ， 而 且 需 要 
更 新 配置 并 使 之 生效 的 情况 ， 束 需要 使 用 本 地 配置 这 个 特性 ， 
也 就 是 说 ， 如 果 在 本 地 配置 的 目录 中 有 对 应 的 数据 配置 内 容 的 
话 ， 这 个 优先 级 是 最 蜗 的 。 如 果 服 务 端 出 现 问 题 或 者 客户 端 与 
服务 端的 通信 出 故障 ， 最 坏 的 情况 也 可 以 把 新 的 配置 分 发 到 各 
个 应 用 的 茶 一 特殊 位 置 ， 使 得 这 个 本 地 配置 生效 从 而 解决 服务 
端 不 可 用 的 问题 。 











文件 格式 


这 一 点 也 很 重要 。 如 果 是 二 进 制 数据 格式 ， 那 么 没有 对 应 
的 工具 是 无 法 对 配置 进行 修改 的 。 而 我 们 在 客户 端的 容 灾 方 面 
的 最 坏 打 算 就 是 整个 系统 退化 到 一 个 单机 的 应 用 上 ， 束 会 需要 








人 
关键 了 。 


7.8.2 ”服务 剖 实 现 和 容 灾 束 上 略 


如 之 前 图 7-17 中 看 到 的 ， 在 集中 配置 管理 中 心服 务 端 ， 主 要 使 用 了 
Nginx 加 Web 应 用 的 方式 。 和 逻辑 相关 的 部 分 在 Web 应 用 上 实现 。Nginx 
ee 


相 比 通过 Web 应 用 从 数据 库 中 获取 数据 ， 然 后 再 把 数据 传 给 
Nginx， 通 过 Nginx 返 回 本 地 文件 的 数据 要 快 很 多 ， 能 够 很 好 地 提高 系统 
的 否 吐 量 ， 这 也 是 很 多 网 站 的 内 容 静 态 化 的 方式 。 除 了 作为 静态 化 去 进 
行 加 速 以 外 ， 本 地 文件 处 理 还 有 一 个 很 重要 的 职责 号 是 进行 数据 库 的 容 
灾 。 有 了 本 地 文件 ， 数 据 的 读 取 束 不 再 走 数据 库 了 ， 读 取 配 置 数据 不 需 
要 数据 的 参与 。 


在 服务 端 珊 要 做 的 另外 一 件 事 情 是 和 数据 库 的 数据 同步 ， 这 里 面包 
含 以 下 两 个 方面 。 














。 通过 当前 服务 端 更 新 数据 库 。 由 管理 SDK 的 请 求 送 到 当前 的 服务 
端 ， 服 务 端 需要 去 更 新 数据 库 的 数据 ， 同 时 ， 服 务 端 也 更 新 目 身 的 
本 地 文件 ， 还 可 以 通知 其 他 机 器 去 更 新 数据 ， 不 过 只 是 传送 一 个 更 
新 数据 的 通知 ， 而 不 是 传送 所 有 数据 ， 并 且 这 个 通知 也 不 是 更 新 其 
他 服务 端 数据 的 唯一 方式 。 

定时 检查 服务 端的 数据 与 数据 库 中 数据 的 一 臻 性。 这 是 为 了 确保 服 
务 端 本 地 文件 数据 和 数据 库 的 内 容 的 一 致 性 ， 前 面 提 到 的 如 果 数 据 
更 新 通知 不 能 送 达 其 他 服务 端 ， 那 么 其 他 服务 端 就 需要 徘 定时 地 检 
得 来 保证 与 数据 库 中 数据 的 一 致 性 。 


此 外 ， 根 据 耻 地 址 的 分 组 处 理 也 是 服务 端的 web 应 用 需要 处 理 好 的 











逻辑 
在 容 灾 方 面 ， 如 果 有 数据 更 新 并 且 这 时 主 备 数据 库 都 不 可 用 ， 那 么 





就 需要 直接 修改 服务 端的 本 地 文件 的 内 容 了 。 所 以 ， 配 置 本 身 的 文本 化 
也 是 容 灾 措施 的 前 提 条 件 。 


在 服务 并 ， 服 务 端 节 点 更 新 数据 后 虽然 会 对 其 他 市 点 进行 通知 ， 但 
古 这 个 部 分 的 设计 和 实现 是 三 点 间 松 厢 合 的 ， 而 不 古 节 点 强 绑 定 的 天 
系 ， 因 为 还 是 希望 让 每 个 集中 配置 管理 中 心 的 服务 端 节 点 没有 相互 的 强 
依赖 ， 这 样 ， 集 群 的 管理 和 扩容 等 都 会 非常 方便 。 


7.8.3 数据库 策 略 


数据 库 在 设计 时 需要 文 持 配 置 的 版 本 管理 ， 也 就 是 随 痢 配置 内 容 的 
更 改 ， 老 的 版 本 是 需要 保留 的 ， 这 主要 是 为 了 方便 进行 配置 变更 的 比 对 
及 回 深 。 而 数据 库 本 里 需要 主 备 进 行 数据 的 容 灾 考 虑 。 


到 这 里 ， 与 中 间 件 产品 相关 的 内 容 束 结束 了 。 在 接 下 来 的 革 市 中 ， 
我 们 会 了 解 与 大 型 网 站 相关 的 一 些 其 他 技术 。 





























第 8 半 ”构建 大 型 网 站 的 其 他 要 素 


8.1 加 速 静 态 内 容 访 问 速 度 的 CDN 


CDN 是 Content Delivery Network 的 缩写 ， 意 思 是 内 容 分 发 网 络 。 
CDN 的 作用 是 把 用 户 逢 要 的 内 容 分 及 到 离 用 户 近 的 地 方 ， 这 样 可 以 使 用 
户 能 够 束 近 获取 所 需 内 容 。 


整个 CDN 系 统 〈( 如 图 8-1 所 示 ) 分 为 CDN 源 站 和 CDN 节 点 ，CDN 源 
站 提供 CDN 节 点 使 用 的 数据 源头 ， 而 CDN 节 点 则 部 署 在 距离 最 终 用 户 
比较 近 的 地 方 ， 加 速 用 户 对 站 点 的 访问 。 数 据 

















图 8-1 CDN 系 统 


CDN 其 实 束 是 一 种 网 络 缓存 技术 ， 能 够 把 一 些 相对 稳定 的 资源 放 到 
距离 最 终 用 户 较 近 的 机 房 ， 一 方面 可 以 节省 整个 广域网 的 带宽 消耗 ， 男 
外 一 方面 可 以 提升 用 户 的 访问 速度 ， 改 进 用 户 人 体验。 我们 一 般 把 一 些 相 
J (例如 图 片 、 视 频 、JS 肢 本、 一 些 页 面 框架 〉 放 在 CDN 


我 们 通过 浏览 器 访问 一 个 网 站 的 过 程 大 致 如 图 8-2 所 示 。 























户 提 交 域 多 浏览 器 对 域名 得 到 目标 主机 根据 iP 地 址 发 得 到 请 求 数据 
进行 解析 IP 地 址 送 请 求 并 显示 
口 


图 8-2 ”浏览 器 访问 网 站 的 流 条 

















(1) 用户 癌 浏 览 器 提交 要 访问 的 域名 。 

(2) 浏览 器 对 域名 进行 解析 ， 得 到 域名 对 应 的 IP 地 址 。 
(3) 浏览 占 问 所 得 到 的 IP 地 址 发 送 请 求 。 

(4) 浏览 器 根据 返回 的 数据 显示 网 页 的 内 容 。 


而 在 有 了 了 CDN 以后， 用 户 通 过 浏览 器 访问 网 站 的 过 程 会 产生 一 些 变 
化 ， 如 图 8-3 所 示 。 





用 户 提交 域名 浏览 器 对 域名 进行 解析 CDN 域 名 服务 器 返回 指 


向 得 到 的 CDN 的 IP 地 址 得 到 CDN 的 地 址 
发 出 请 求 


定 域 名 的 CNAME 记 录 






对 CNAME 记 录 进 行 再 
解析 


请 求 源 站 ， 获 取 内 容 返回 需要 的 内 容 





图 8-3 ”引入 CDN 后 浏览 器 访问 网 站 的 流程 
(1) 用 户 回 浏览 器 提交 要 访问 的 域名 。 


(2) 浏览 器 对 域名 进行 解析 ， 由 于 CDN 对 域名 解析 过 程 进行 了 调 
整 ， 所 以 得 到 的 是 该 域名 对 应 的 CNAME 记 录 。 


(3) 对 CNAME 再 次 进行 解析 ， 得 到 实际 耻 地 址 。 在 这 次 的 解析 








中 ， 会 使 用 全 局 负载 均衡 DNS 解析 ， 也 就 是 我 们 需要 返回 具体 了 地址 ， 
需要 根据 地 理 位 置信 息 以 及 所 在 的 ISP 来 确定 返回 的 结果 ， 这 个 过 程 才 
能 让 身 处 不 同 地域 、 连 接 不 同 接 入 商 的 用 户 得 到 最 适合 自己 访问 的 CDN 
地 址 ， 才 能 做 到 就 近 访问 ， 从 而 提升 速度 。 


(4) 得 到 实际 的 IP 地 址 以 后 ， 癌 服务 器 发 出 访问 请 求 。 
(5) CDN 会 根据 请 求 的 内 容 是 否 在 本 地 绥 存 进行 不 同 处 理 : 





。 如 果 存 在 ， 则 直接 返回 结果 。 
。 如 采 不 存在 ， 则 CDN 请 求 源 站 ， 获 取 内 容 ， 然 后 再 返回 结果 。 


通过 这 个 流程 ， 我 们 也 可 以 看 到 CDN 中 的 几 个 关键 技术 。 


。 全 局 调度 


全 局 调度 是 完成 用 户 就 近 访 问 的 第 一 步 ， 我 们 需要 根据 用 
户 地 域 、 接 入 运营 商 以 及 CDN 机 房 的 负载 情况 去 调度 。 前 面 两 
个 调度 因素 需要 一 个 尽 可 能 精准 的 IP 地 址 库 ， 这 是 正确 调用 的 
前 提 ( 误 识 别 的 IP 地 址 到 地 理 位 置 的 对 应 可 能 会 把 东北 的 用 户 
调度 到 华南 的 站 点 去 ) ， 当 然 ， 做 到 100% 的 精准 是 不 现实 
的 。IP 地 址 库 的 维护 是 一 个 持续 和 变化 的 过 程 ， 并 且 调 度 的 策 
略 随 着 CDN 机 房 的 增加 也 会 变化 。 例 如 ， 我 们 不 可 能 在 所 有 城 
市 都 设置 CDN 机 房 ， 假 设 刚 开始 河南 整个 省 份 没 有 CDN 机 
房 ， 可 能 河南 靠 北 的 城市 使 用 天 津 的 CDN， 同 时 河南 靠 南 的 城 
市 使 用 湖北 的 CDN 会 比较 好 ， 而 如 果 后 来 在 郑州 市 建设 了 
CDN 机 房 的 话 ， 那 么 原来 的 调度 策略 就 会 修改 了 。CDN 的 负 
载 也 是 调度 中 的 一 个 影响 因素 ， 举 例 来 说 ， 如 果 一 个 CDN 机 房 
距离 你 的 位 置 比较 近 ， 但 是 它 的 负载 已 经 很 高 ， 啊 应 很 慢 ， 那 
么 你 的 请 求 送 到 距离 稍 远 的 CDN 机 房 反 而 会 更 快 。 























。 级 存 技术 


从 上 面 的 流程 中 我 们 看 到 ， 如 果 用 户 请 求 的 内 容 不 在 CDN 
中 的 话 ，CDN 会 回 到 源 站 去 加 载 内 容 ， 然 后 返回 给 用 户 。 所 
以 ， 如 果 CDN 机 房 的 请 求 命中 率 不 高 的 话 ， 那 么 起 到 的 加 速效 


果 也 是 相对 有 限 的 。 


要 提升 命中 率 ， 就 需要 CDN 机 房 中 有 尽 可 能 全 面 的 数据 ， 
这 要 求 CDN 机 房 的 缓存 容量 要 足够 大 ， 我 们 可 以 使 用 “内 存 
+SSD+ 机 器 便 盘 ”的 混合 存储 方式 来 提升 整体 的 缓存 容量 ，3 
且 需 要 做 好 冷 热 数据 的 交换 ， 在 提升 命中 京 时 也 尽量 降低 绥 存 
的 啊 应 时 间 。 


此 外 ， 当 CDN 的 Cache 没 有 命中 要 回 源 加 载 数 据 时 ， 合 并 
同样 数据 的 请 求 也 是 一 个 很 重要 的 优化 ， 这 样 可 以 减少 重复 的 
请 求 ， 降 低 源 站 的 压力 。 


最 后 ， 新 增 、 变 更 数据 后 的 CDN 预 加 载 也 是 一 个 提升 命中 
率 的 办 法 。 也 就 是 在 没有 请 求 进来 时 ，CDN 主 动 去 加 载 数 据 ， 
Te 














。 内 容 分 友 


这 里 提 到 的 内 容 分 发 主要 是 对 内 容 全 部 在 CDN 上 不 用 回 源 
的 数据 的 管理 和 分 用， 例如 一 些 静 态 页 面 等 。 具体 做 法 是 在 内 
容 管理 系统 中 进行 编辑 修改 后 ， 通 过 分 发 系统 分 发 到 各 个 CDN 
的 节点 上 。 分 发 的 效率 以 及 对 分 发 文件 一 致 性 、 正 确 性 的 校 验 
是 需要 关注 的 点 。 





。 带宽 优化 


CDN 提 供 了 内 容 加 速 ， 很 多 请 求 和 流量 都 压 到 了 CDN 
上 ， 那 么 如 何 能 够 比较 有 效 地 市 省 币 宽 会 是 一 个 很 重要 的 事 
情 ， 因 为 这 直接 关系 到 流量 成 本 。 优 化 的 思路 是 只 返回 必要 的 
数据 、 用 更 好 的 压缩 算法 等 。 


在 CDN 的 应 用 中 ， 从 传统 意义 上 来 讲 ， 主 要 是 把 用 户 需 要 访问 的 内 
容 放 到 离 用 户 近 的 地 方 。 可 以 发 现 大 部 分 流量 是 从 源 站 到 CDN 机 房 的 流 
量 ， 我 们 也 可 以 利用 CDN 机 房 距离 目标 用 户 近 的 地 点 ， 让 一 些 上 传 的 工 
作 从 CDN 接 入 ， 然 后 再 从 CDN 传 到 源 站 ， 这 一 方面 可 以 提升 用 户 的 上 














传 速度 ， 另 一 方面 也 很 好 地 利用 了 从 CDN 机 房 到 源 站 的 上 行 带宽 。 


8.2 ”大 型 网 站 的 存储 支持 


在 大 型 网 站 中 ， 基 本 上 束 是 在 解决 存储 和 计算 的 问题 ， 当 然 ， 很 多 
ee 








从 网 站 使 用 存储 的 角度 来 看 ， 大 部 分 都 是 先 从 关系 型 数据 库 开 始 
的 ， 而 且 有 可 能 会 把 一 些 操 作 放 在 数据 库 中 去 做 ， 例 如 一 些 触 肥 器 、 存 
储 过 程 ， 这 在 开始 阶段 可 能 可 以 很 好 解决 问题 ,但 是 在 后 面 会 带 来 很 多 
腑 焕 。 随 着 业务 的 发 展 ， 会 引入 分 库 分 表 等 方式 来 解决 问题 。 


关系 型 数据 库 系 统 本 身 建 在 Key-Value 基 础 上 ， 很 好 地 支持 了 关系 
代数 ， 给 业务 带 来 了 非常 大 的 便利 。 但 是 ， 大 型 网 站 中 对 存储 的 需求 不 
能 完全 通过 关系 型 数据 库 来 满足 。 


8.2.1 分布 式 文件 系统 


对 一 些 图 片 、 大 文本 的 存储 ， 使 用 数据 库 就 不 合适 了 。 可 以 考虑 的 
一 个 方案 是 采用 NAS 网 络 存 储 设备 ， 不 过 NAS 本 和 映 的 IO 否 吐 性 能 及 扩展 
| 另外 一 个 方案 是 采用 分 布 式 
文件 系统 。 


分 布 式 文件 系统 有 很 多 具体 产品 ， 其 中 有 很 多 是 开源 的 系统 《包括 
淘宝 的 TFS) 。 这 一 部 分 不 得 不 提 的 是 Google 的 GFS 〈Google File 
System) ， 这 是 一 个 不 开源 的 系统 ，Google 在 2003 年 发 表 了 名 为 The 
Google File System 的 论文 ， 介绍 了 GFS 的 设计 ， 如 图 8-4 所 示 。 
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图 8.4 GFS 结 构 图 


图 8-4 是 GFS 论 文中 介绍 的 GFS 结 构图 。 主 要 由 三 部 分 构成 ，GFS 
Client (客户 端 ) 、GFS ”Master (在 有 些 系统 中 被 称 为 Namenode) 、 
CFS chunkserver 〈 在 有 些 系统 被 称 为 DataNode) 。 





e Client 


应 用 使 用 GFS 的 入 口 ，Client 负 责 从 GFS Master 上 获取 要 操 
作 的 文件 在 ChunkServer 中 的 具体 地 址 ， 然 后 直接 和 
ChunkServer 通 信 ， 获 取 数 据 或 者 进行 数据 的 写 入 、 更 新 。 


e Master 


可 以 说 是 整个 系统 的 大 脑 ， 这 里 维护 了 所 有 的 文件 系统 元 
数据 ， 包 括 名 字 空 间 、 访 问 控制 信息 、 文 件 与 Chunk (数据 
块 ) 的 映射 信息 、Chunk 的 当前 位 置 等 。Master 也 控制 整个 系 
统 范 围 内 的 一 些 活动 ， 例 如 无 效 Chunk 的 回收 、ChunkServer 之 
前 Chunk 的 迁移 等 。Master 与 ChunkServer 之 间 通 过 周期 性 的 心 
跳 进 行 通 信 ， 检 测 对方 是 否 在 线 。 


e ChunkServer 


这 是 文件 数据 存储 的 地 方 。 在 每 个 ChunkServer 上 会 用 
Chunk (数据 块 ) 的 方式 来 管理 数据 ， 每 个 Chunk 是 固定 大 小 
的 文件 ， 超 过 Chunk 大 小 的 文件 会 被 分 为 多 个 Chunk 进 行 存 
储 ， 而 对 于 小 于 Chunk 大 小 的 文件 ， 则 会 将 多 个 文件 保存 在 一 
个 Chunk 中 。 


GFS 主 要 解决 了 单机 文件 存储 容量 及 安全 性 的 问题 ， 把 多 人 台 廉价 PC 
组 成 一 个 大 的 分 布 式 的 看 起 来 像 文件 系统 的 集群 ， 并 对 外 提供 文件 系统 
的 服务 ， 可 以 满足 业务 系统 对 文件 存储 的 需求 。 


通过 GFS 的 论文 可 以 详细 了 解 整体 的 设计 和 一 些 细节 问题 的 应 对 和 
解决 ， 而 开源 的 系统 中 也 有 类 似 GFS 的 实现 ， 例 如 HDFS 就 是 采用 Java 的 
类 GFS 的 实现 ， 可 以 通过 HDFS 去 了 解 具 体 实现 的 代码 细节 。 


8.2.2 NoSQL 


前 面 我 们 看 了 关系 型 数据 库 和 分 布 式 文件 系统 ， 这 一 小 节 我 们 来 了 
解 一 下 NoSQL。NoSQL 最 初 多 被 理解 为 没有 (不 是 ) SQL 一 一 即 No 
SQL， 后 面 也 被 理解 为 Not Only SQL。 如 果 认 为 NoSQL 能 够 完全 解决 所 
有 问题 ， 彻 底 替 换 关 系 型 数据 库 ， 这 样 的 观点 就 太 绝 对 了 。 在 大 型 网 站 
中 ， 需 要 去 存储 的 不 同 内 容 的 特性 、 访 问 特性 、 事 务 特性 等 方面 的 要 求 
会 有 很 大 不 同 ， 无 论 是 关系 型 数据 库 、 分 布 式 文件 系统 还 是 这 里 看 到 的 
NoSQL， 都 会 有 自己 所 擅长 的 场景 。 


NoSQL 涵 盖 的 范围 很 三 ， 基 本 上 人 处 于 分 布 式 文件 系统 和 SQL 关 系 型 
数据 库 之 间 的 系统 都 被 归 为 NoSQL 的 范畴 。 下 面 分 别 从 数据 模型 和 系统 
结构 两 个 方面 来 介绍 一 下 NoSQL。 首 先 从 NoSQL 的 数据 模型 方面 做 一 


个 区 分 。 











图 8-5 来 自发 布 于 Highly Scalable Blog 中 的 NoSQL Data Modeling 
Techniques 文 章 。 这 个 图 中 有 两 个 很 有 意思 的 地 方 ， 一 个 是 NoSQL 和 
SQL 的 基础 都 来 自 于 Key-Value， 另 外 一 个 是 如 果 NoSQL 继 续 发 展 并 完 
善 功 能 ， 束 会 变 成 SQL 关 系 型 数据 库 了 。 
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图 8-5 ”NoSQL 介 绍 


e。 Key-Value 


这 是 最 基础 的 技术 文 撑 ， 后 续 的 产品 都 是 基于 Key-Value 
存储 而 发 展 起 来 的 。 但 是 Key-Value 存 储 有 一 个 很 大 的 问题 ， 
即 没 有 办 法 进行 高 效 的 范围 查询 。 


e。 Ordered Key-Value 


这 是 在 Key-Value 基 础 上 的 一 个 改进 ，Key 是 有 序 的 ， 这 样 
可 以 解决 基于 Key 的 范围 查询 的 效率 问题 ， 不 过 在 这 个 模型 





中 ，Value 本 映 的 内 容 和 结构 是 由 应 用 来 负责 解析 和 存储 的 ， 
如 果 在 多 个 应 用 中 去 使 用 的 话 ， 这 种 方式 并 不 直观 也 不 方便 。 


图 8-5 中 的 各 部 分 分 别 介绍 如 下 。 


。 BigTable 


BigTable 是 Google 在 2006 发 表 的 名 为 Bigtable: A 
Distributed Storage Systemfor Structured Data 的 论文 中 提 到 的 一 
个 产品 ， 是 一 个 结构 化 数据 的 分 布 式 存储 系统 。 从 数据 模型 上 
讲 ，BigTable 对 Value 进 行 了 Schema 的 支持 ，Value 是 由 多 个 
Column ” Family 组 成 ，Column Family 内 部 是 Column，Column 
Family 不 能 动态 扩展 ， 而 Column ”Family 内 部 的 Column 是 可 以 
动态 扩展 的 。 


e Document, Full-Text Search 


Document 数 据 库 有 两 个 非常 大 的 进步 ， 一 个 是 可 以 在 
Value 中 任意 自 定 义 复杂 的 Scheme， 而 不 再 仅仅 是 Map 的 蔡 
套 ; 另 一 个 是 对 索引 方面 的 文 持 。 而 全 文 搜索 则 提供 了 对 于 数 
据 内 容 的 搜索 的 文 持 ， 当 然 ， 将 全 文 搜索 归属 于 NoSQL 的 范畴 
有 些 罕 强 。 





。 Graph 





图 (Graph)〉 数据 库 可 以 看 作 是 从 有 序 Key-Value 数 据 库 发 
展 而 来 的 一 个 分 文 。 主 要 是 文 持 图 结构 的 数据 模型 。 

上 面 的 内 容 是 从 数据 模型 维度 的 一 个 划分 和 介绍 。 其 中 Full-Text 
Search 和 Graph 在 一 些 地 方 可 能 不 归 为 NoSQL， 不 过 这 不 是 那么 重要 ， 
我 们 主要 是 想 看 看 在 分 布 式 文件 系统 和 SQL 关系 型 数据 库 之 外 ， 还 有 一 
些 怎样 的 存储 系统 。 

我 们 再 从 系统 结构 上 来 看 一 下 NoSQL。 


图 8-6 所 示 是 HBase 的 结构 图 ， 而 HBase 可 以 说 是 借鉴 Google 





BigTable en 开源 实现 。 从 结构 上 我 们 可 以 看 出 ， 存 储 到 

HBase 的 数据 是 通过 HRegionServer 来 管理 的 ， 每 个 HRegionServer 中 管理 

了 多 个 HRegion， 每 个 Region 中 管理 具体 的 数据 。 而 HMaster 则 是 管理 所 

有 HRegionServer 的 节点 ， 是 一 个 中 心 控制 的 结构 。 而 这 里 的 HMaster 与 
前 面 GFS 中 Master 的 作用 是 类 似 的 。 








HBase 




















图 8-6 ”HBase 结 构 


此 外 ， 还 有 一 种 比较 经 典 的 结构 是 Amazon 的 Dynamo 结 构 ， 如 图 8-7 


所 示 。 
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图 8-7 Dynamo 结 构 


Dynamo 至 个 集群 中 的 数据 分 布 不 是 通过 类 似 HBase 中 Master 的 方式 
来 管理 ， 而 是 采用 了 一 致 性 哈 希 进行 管理 。Cassandra 是 一 个 开源 的 类 似 
Dynamo 的 实现 ， 当 然 在 一 些 细节 的 处 理 和 策略 上 会 有 差异 。 


在 存储 领域 ，Google 是 非常 领先 的 。Google 系 统 开源 的 不 多 ， 因 此 
我 们 对 其 了 解 更 多 的 是 通过 论文 。 


8.2.3” 绥 存 系 统 


缓存 系统 可 以 看 做 一 种 特殊 的 存储 ， 存 储 在 大 家 的 印象 中 多 是 持久 
的 ， 而 缓存 是 非 持 久 的 存储 ， 是 为 了 加 速 应 用 对 数据 的 读 取 。 


Redis 和 Memcache 是 两 个 使 用 很 广泛 的 开源 缓存 系统 。Redis 已 经 有 
了 对 于 集群 的 支持 ， 当 然 Redis 也 可 以 当做 单机 的 应 用 来 使 用 ， 而 
Memcache 本 号 还 是 一 个 单机 的 应 用 。 在 使 用 时 ， 如 果 想 把 多 个 节点 构 
建成 一 个 集群 是 需要 去 考虑 的 ， 和 常见 的 是 采用 一 致 性 哈 希 的 方式 。 


而 在 大 型 网 站 的 源 站 中 ， 有 两 个 重要 的 使 用 缓存 的 场景 ， 第 一 个 如 
图 8-8 所 示 。 











图 8-8 月 




















缓存 来 管理 











存储 的 方式 


图 8-8 所 示 的 是 网 站 应 用 中 使 用 绥 存 来 降低 对 后 层 存 储 的 读 压力 ， 
需要 注意 的 是 缓存 和 数据 存储 中 数据 一 致 性 的 问题 。 此 外 我 们 还 有 多 种 
使 用 缓存 和 存储 的 模式 ， 它 们 之 间 会 有 一 些 差 异 。 


这 种 方式 中 ， 应 用 是 不 直接 操作 存储 的 ， 存 储 由 缓存 来 控制 。 对 于 











应 用 的 逻辑 来 说 这 很 简单 ， 但 是 对 于 缓存 来 将， 因为 需要 保证 数据 写 入 
绥 存 后 能 够 存 入 存储 中 ， 所 以 缓存 本 身 的 馆 辑 会 复杂 些 ， 需 要 有 很 多 操 
作 日 志 及 故障 恢复 等 。 


图 8-9 显 示 的 是 另 一 种 应 用 使 用 缓存 的 方式 。 在 这 种 方式 中 ， 应 用 
直接 与 缓存 和 存储 进行 交互 。 一 般 的 做 法 是 应 用 在 写 数 据 时 更 新 存储 ， 
然后 失效 缓存 数据 ， 而 在 读数 据 时 首先 读 缓 存 ， 如 果 绥 存 中 没有 数据 ， 
那么 再 去 读 存 储 ， 并 且 把 数据 写 入 缓存 。 





























图 8-9 应 用 直接 管理 缓存 和 存储 的 方式 

















这 里 需要 重点 考 夸 的 是 缓存 和 存储 数据 一 致 性 的 问题 ， 当 然 ， 这 里 
征 指 最 终 一 致 。 重 点 需要 考 碟 的 是 缓存 没有 命中 和 数据 更 改 的 情况 ， 以 
及 更 新 存储 中 的 数据 后 没 来 得 及 失效 缓存 的 问题 。 


图 8-10 所 示 的 方案 对 于 全 数据 缓存 比 较 合 适 ， 也 就 是 说 当 存 储 的 数 
所 发 生变 化 时 ， 直 接 从 存储 去 同步 数据 到 缓存 中 ， 以 更 新 缓存 数据 ， 这 
比较 类 似 “ 数 据 访 问 层 ”一 章 《〈 第 5 章 ) 中 提 到 的 数据 变更 通知 平台 的 适 
用 场景 。 这 样 应 用 完全 从 缓存 中 该 就 行 了 。 如 果 绥 存 的 不 是 全 数据 ， 那 
么 可 以 把 同步 数据 变 成 失效 数据 ， 然 后 还 是 通过 不 命中 的 情况 去 进行 绥 
存 中 的 数据 加 载 。 























图 8-10 ”存储 数据 变更 直接 同步 给 缓存 的 方式 


大 型 网 站 中 使 用 缓存 的 另 一 个 重要 场景 是 对 于 Web 应 用 的 页 面 演 染 
内 容 的 缓存 。 如 图 8-11 所 示 ， 我 们 以 一 个 展示 的 页 面 为 例 。 我 们 对 页 面 
进行 了 分 块 儿 ， 其 中 有 相对 静态 的 内 容 和 动态 的 内 容 ， 如 果 整 个 页 面 采 
用 在 服务 器 端 泻 染 的 方式 ， 我 们 希望 相对 静态 的 内 容 可 以 进行 缓存 而 不 
是 每 次 都 要 重新 演 染 。 有 具体 的 实现 技术 为 ESI (Edge Side Includes) ， 
是 通过 在 返回 的 页 面 中 加 上 特殊 的 标签 ， 然 后 根据 标签 的 内 容 去 用 缓存 
进行 填充 的 一 个 过 程 。 








图 8-11 页 面 动静 态 内 容 示意 图 








整个 工作 流程 如 图 8-12 所 示 。 


生成 最 后 页 面 


图 8-12 ”ESI 标 签 处 理 流 程 


图 8-12 显 示 了 处 理 ESI 标 签 的 流程 。 处 理 ESI 标 签 的 具体 工作 可 以 放 


品 














在 Java 的 应 用 容器 中 做 ， 也 可 以 放 在 Java 应 用 容器 前 置 的 服务 器 做 ， 如 
图 8-13 所 示 。 





前 置 Web 服 务 器 





前 置 Web 服 务 器 


java 应 用 容器 


java 应 用 容器 





模块 部 署 结构 

















图 8-13 “ESI 处 理 


这 两 种 方式 对 比如 下 。 


。 演 染 页 面 和 ESI 处 理 在 一 个 进程 中 ， 处 理 效率 会 提升 ， 当 页 面 内 容 
是 内 部 对 象 时 就 可 以 处 理 ESI 标 签 了 ， 而 如 果 放 在 前 置 Web 服 务 
器 ， 需 要 对 内 容 再 进行 一 次 扫描 ， 定 位 到 ESI 标 签 后 再 处 理 。 

e。 ESI 放 在 前 置 Web 服 务 器 上 处 理 ， 那 么 对 于 后 端 来 说 可 以 不 单独 考 
虑 ESI 标 签 的 问题 ， 例 如 当 后 端 处 理 请 求 有 Java 必 用 、PHP 应 用 ， 甚 


至 还 有 其 他 应 用 时 ， 可 以 统一 把 ESI 处 理 放 在 前 置 的 Web 服 务 需 
上 ， 这 样 后 端 就 只 用 处 理 请 求 ， 而 不 必 对 每 个 应 用 都 去 处 理 ESI 的 
工作 。 


8.3 ”搜索 系统 


这 里 讲 的 搜索 不 是 指 像 Google 这 样 的 全 网 搜索 ， 主 要 讲 的 是 站 内 搜 
索 。 当 网 站 的 数据 量 和 访问 量 很 小 时 ， 一 些 数据 的 查询 可 以 直接 用 数据 
库 的 Like 操 作 来 实现 。 当 然 ， 这 种 方式 的 实现 效率 是 很 低 的 ， 而 且 也 不 
够 智能 。 当 网 站 的 数据 量 和 访问 量 逐 步 增 大 时 ， 惑 需要 在 站 内 使 用 搜索 
技术 来 解决 信息 查找 的 问题 。 


8.3.1 ”把 虫 问 题 


对 于 全 网 搜索 来 说 ， 扑 虫 是 一 个 非常 关键 的 系统 ， 需 要 通过 爬虫 去 
获取 被 检索 的 网 站 的 网 页 信息 。 在 站 内 搜索 中 ， 我 们 同样 需要 可 以 发 
现 、 获 取 要 被 搜索 的 内 容 的 系统 〈 这 个 系统 在 站 内 一 般 不 称 为 聆 虫 ) 。 
对 于 内 部 搜索 来 说 ， 进 入 搜索 系统 中 的 数据 的 来 源 、 格 式 及 要 求 更 新 的 
人 
1 。 


更 新 索引 的 方式 一 般 有 如 下 两 种 。 











。 定时 从 数据 源 一般 是 关系 型 数据 库 ) 中 拉 取 ， 我 们 称 之 为 增 量 
Dump， 这 要 求 数据 库 记 录 中 有 一 个 记录 变更 时 间 的 字段 ， 人 否则 惑 
无 法 获取 一 段 时 间 内 变化 的 数据 ， 而 这 个 字段 需要 有 索引 ， 人 否则 会 
使 效率 变 得 很 低 。 增 量 Dump 开 始 前 ， 需 要 进行 全 量 的 Dump 构 造 初 
CO 
时 。 

。 通过 数据 变更 的 通知 ， 及 时 通知 搜索 引擎 构建 索引 ， 及 时 性 会 很 
好 ， 不 过 达 来 的 系统 压力 也 比较 大 。 因 此 这 种 方式 主要 用 在 对 实时 
性 要 求 很 高 的 场景 。 











8.3.2 ” 倒 排 索引 








倒 排 索 引 是 搜索 引擎 中 一 项 很 重要 的 技术 ， 在 介绍 倒 排 索引 前 ， 我 
们 先 看 一 下 正 排 索 引 。 


示 





假设 我 们 有 多 篇 文章 ， 每 篇 文章 都 有 目 己 的 关键 词 ， 如 表 8-1 所 





表 8-1 正 排 索引 示例 








文章 ”关键 词 

Docl keywordl,keyword2,keyword4 

Doc2 keywordl,keyword3,keyword5 

Doc3 keyword2,keyword5,keyword8,keyword9 
Doc4 keyword6,keyword7,keyword9 


我 们 通过 文章 可 以 找到 这 篇 文章 中 的 关键 词 ， 但 是 如 采 给 定 关 键 
词 ， 要 找 该 词 都 在 哪些 文章 出 现 ， 该 怎么 办 呢 ? 倒 排 索引 可 以 很 好 地 解 


决 这 个 问题 ， 


关键 词 

keyword1 
keyword2 
keyword3 
keyword4 
keyword5 
keyword6 
keyword7 
keyword8 
keyword9 














如 表 8-2 所 示 。 
表 8-2 ” 倒 排 索引 示例 


文章 
Docl1,Doc2 
Docl,Doc3 
Doc2 
Docl 
Doc2,Doc3 
Doc4 
Doc4 
Doc3 
Doc3,Doc4 





相对 于 正 排 索 引 ， 倒 排 索 引 是 把 原来 作为 值 的 内 容 拆 分 为 索引 的 


Key， 而 原来 用 作 索 引 的 Key 则 变 成 了 值 。 搜 索引 擎 比 数据 库 的 Like 更 高 
效 的 原因 也 在 于 倒 排 索引 。 细 心 的 读者 在 这 里 可 能 会 注意 到 一 个 事情 ， 
那 就 是 如 何 确定 建立 倒 排 索引 的 关键 字 ， 这 主要 取决 于 如 何 对 要 索引 的 
内 容 进行 分 词 。 


8.3.3 ”查询 预 处 理 




















查询 预 处 理 主要 负责 对 用 户 输入 的 搜索 内 容 进 行 分 词 及 分 词 后 的 分 
析 ， 包 括 一 些 同义词 的 丛 换 及 纠 错 每 。 这 一 部 分 古 在 使 用 搜索 引擎 前 对 
于 要 搜索 内 容 的 梳理 环 证 ， 而 这 部 分 的 工作 也 会 影响 到 最 后 搜索 结果 的 


质量 。 


8.3.4 ”相关 上 度 计算 


当 经 过 了 查询 分 析 器 的 处 理 后 ， 查 询 会 在 搜索 引擎 上 被 执行 ， 对 于 
返回 的 结 末 ， 我 们 需要 计算 和 搜索 内 容 的 相关 上 度 后 展示 给 用 户 。 相 关 度 
计算 是 在 不 指定 按照 茶 个 字段 排序 的 基础 上 对 搜索 结果 的 排序 ， 排 序 的 
原则 束 是 被 搜索 到 的 内 容 与 要 搜索 的 内 容 之 间 的 相关 上 度 。 


相关 度 的 计算 方式 很 多 ， 例 如 有 问 量 空间 模型 、 概 率 模型 等 方法 。 
而 相关 度 计 算 本 身 会 依赖 查询 预 处 理 的 处 理 效果 ， 相 关 度 计算 的 最 终 体 
现在 搜索 结果 的 质量 。 


搜索 最 基础 的 原理 相对 容易 理解 ， 但 是 站 内 搜索 的 具体 过 程 落 地 ， 
包括 如 何 构 建 整个 搜索 的 分 布 式 系统 ， 以 及 根据 具体 的 场景 进行 优化 ， 
则 是 非常 具有 挑战 性 的 工作 。 











8.4 数据 计算 文 撑 


计算 所 涵盖 的 范围 很 广 ， 我 们 的 系统 所 解决 的 核心 问题 束 是 存储 和 
计算 ， 这 一 节 的 计算 主要 是 讲 大 型 网 站 产生 的 大 量 业 务 数据 的 处 理 。 


从 实时 性 角 撤 来 讲 ， 我 们 可 以 把 计算 分 为 离线 计算 和 实时 计算 。 





1. 离线 计算 


顾名思义 ， 离 线 计算 是 业务 产生 的 数据 离开 生产 环境 后 进行 的 计 
算 。 束 是 把 业务 数据 从 在 线 存 储 中 移动 到 离线 存储 中 ， 然 后 进行 数据 处 
Ts 
9 延迟。 


在 离线 计算 领域 ，MapReduce 模 型 是 非常 著名 和 常用 的 ， 
MapReduce 是 Google 在 2004 年 发 表 的 名 为 MapReduce: Simplified Data 
Processing on Large Clusters 的 论文 中 提出 的 。 图 8-14 展 示 了 MapReduce 
处 理 的 过 程 。 主 要 分 为 两 个 阶段 ， 第 一 个 是 Map， 第 二 个 是 Reduce。 


在 Map 阶 段 ， 我 们 根据 设 定 的 规则 把 整体 数据 集 映 射 给 不 同 的 
Worker 来 处 理 ， 并 且 生 成 各 自 的 处 理 结果 。 而 在 Reduce 阶 段 ， 是 对 前 面 
处 理 过 的 数据 进行 聚合 ， 形 成 最 后 的 结果 。 当 然 ， 一 个 任务 的 处 理 可 能 
不 止 一 次 MapReduce 过 程 。 














Input Map Intermediate files Reduce Output 
files phase (on local disks) phase files 


图 8-14 ”MapReduce 模 型 


MapReduce 模 型 让 我 们 能 够 使 用 统一 的 模型 和 方式 来 使 用 集群 中 多 
机 ， 降 低 了 使 用 成 本 。 


Hadoop 是 MapReduce 的 一 个 开源 实现 ，Hadoop 使 用 HDFS 进 行 数据 
存储 ， 而 Spark 则 提供 了 基于 内 存 的 集群 计算 的 文 持 。Spark 本 身 是 为 集 
群 计 算 中 特定 类 型 的 工作 而 设计 的 ， 例 如 进行 机 器 学 习 的 算法 训练 等 ， 
而 基于 内 存 的 方式 使 得 Spark 的 速度 非常 快 ， 在 我 们 进行 算法 训练 时 ， 
能 够 非常 快速 地 进行 算法 的 迭代 测试 和 算法 的 收敛 。 


2. 在 线 计算 





相对 于 离线 计算 ， 在 线 计算 是 比较 实时 的 计算 ， 其 中 比较 常见 的 方 
式 是 流 式 计算 。 其 中 Storm 是 使 用 比较 广泛 的 一 个 框架 。 


我 们 来 看 一 下 Storm 与 Hadoop 概 念 的 对 比 ， 如 表 8-3 所 示 。 


表 8-3” ”Storm 与 Hadoop 的 对 比 





Storm Hadoop 
Nimbus JobTracker 


Supervisor TaskTracker 
Worker Child 

Topology “Job 

Spout/Bolt Mapper/Reducer 


。 Nimbus， 人 负责 资源 分 配 和 任务 调度 。 

Supervisor， 人 负责 接受 Nimbus 分 配 的 任务 ， 启 动 和 停止 属于 上 自己 管 

理 的 Worker。 

。 Worker， 具 体 处 理 组 件 逻 辑 的 进程 。 

e。 Task，Worker 中 的 每 一 个 Spout/Bolt 线 程 称 为 一 个 Task， 在 0.8 版 本 
以 后 的 Storm 中 ，Task 不 再 与 物理 线程 一 一 对 应 ， 同 一 个 Spout/Blot 
的 Task 可 能 会 共享 一 个 物理 线程 ， 称 为 Executor。 





图 8-15 所 示 是 Storm 的 一 个 具体 实例 的 拓扑 结构 ，Spout 是 整个 处 理 
流程 的 入 口 ， 也 是 数据 的 源头 ， 而 Bolt 是 整个 流 中 的 处 理 节 点 。 整 个 拓 
扑 结构 决定 了 数据 的 流转 和 处 理 ， 所 以 也 称 为 流 式 计算 。Yahool! 的 S4 
也 是 一 个 类 似 的 产品 。 


© 


图 8-15 ”Storm 实例 的 拓扑 结构 


在 第 6 章 介 绍 消 息 中 间 件 时 说 过 ， 消 息 中 间 件 作为 消息 投递 的 来 
源 ， 其 实 也 是 一 个 数据 处 理 流程 的 源头 ， 订 阅 消 妃 的 应 用 也 是 实时 地 对 














消息 进行 处 理 ， 只 不 过 这 种 情况 下 ， 更 多 的 是 订阅 者 自身 处 理 完 毕 就 结 
束 了 。 相 当 于 一 层 结构 的 简单 流 式 处 理 的 拓扑 ， 是 最 简化 的 一 种 情况 。 


8.5 发布 系统 


当 我 们 完成 应 用 的 开发 和 调试 之 后 ， 需 要 使 应 用 上 线 来 为 最 终 用 户 
提供 服务 。 这 是 一 个 看 起 来 非常 简单 的 工作 ， 但 是 ， 当 你 要 管理 的 应 用 
服务 器 多 达 数 万 台 时 ， 当 需要 不 影响 用 户 而 完成 友 布 工作 时 ， 当 你 要 考 
碟 文 持 灰 度 发 布 时 ， 发 布 的 工作 融会 变 得 比较 复杂 。 


我 们 来 介绍 一 下 发 布 系统 应 该 完成 的 工作 。 

















1. 分 发 应 用 


我 们 需要 提供 目 动 高 效 并 且 容易 操作 的 机 制 来 把 经 过 测试 的 程序 包 
分 友 到 线 上 的 应 用 中 ， 这 里 我 们 一 般 会 采用 Web 的 操作 方式 ， 通 过 专用 
通道 把 应 用 程序 包 从 线 下 环境 传送 到 线 上 的 发 布 服务 器 。 分 发 的 过 程 中 
有 如 下 两 点 需要 注意 。 


先 来 看 第 一 点 。 如 图 8-16 所 示 ， 在 多 机 房 的 情况 下 ， 我 们 考虑 在 每 
个 机 房 都 部 署 发 布 服务 硕 ， 由 机 房 内 的 发 布 服务 器 负责 本 机 房 的 程序 包 
的 分 发 ， 而 发 布控 制 台 的 实现 上 ， 可 以 考虑 只 把 程序 包 分 发 给 所 有 发 布 
服务 器 中 的 一 人 台 ， 由 这 个 发 布 服务 占 负 员 在 多 个 机 房 的 及 布 服务 器 之 间 
人 














为 外 一 个 要 注意 的 点 是 ， 如 果 应 用 服务 器 数量 过 多 的 话 ， 可 以 采用 
P2P 技 术 来 进行 程序 包 的 分 发 ， 进 而 加 快 分 发 速度 。 


2， 启动 校 验 





当 我 们 完成 应 用 程序 包 的 分 发 工作 后 ， 需 要 去 停止 当前 应 用 上 的 程 
序 ， 并 完成 新 应 用 的 启动 。 应 用 重新 局 动 后 ， 我 们 需要 进行 校 验 从 而 完 
成 这 人 台 应 用 服务 器 上 的 应 用 发 布 。 对 应 用 的 校 验 一 般 是 由 应 用 自身 提供 
人 
过 5 且 木 。 


在 停止 应 用 时 ， 如 宁 采 用 暴力 方式 ， 葡 会 影响 当时 正在 执行 的 请 
求 ， 所 以 需要 优雅 地 关闭 。 但 是 如 果 持 续 有 新 请 求 进入 的 话 ， 是 很 难 优 
雅 关 闭 应 用 的 ， 所 以 需要 控制 不 能 有 新 请 求 进入 。 这 就 需要 在 负载 均衡 
或 者 软 负载 中 心 上 做 文章 ， 也 残 是 需要 在 关闭 应 用 前 把 这 个 应 用 从 负载 
均衡 或 软 负 载 中 心 上 移 去 ， 然 后 再 优雅 地 关闭 应 用 (结束 当前 所 有 请 求 
后 关闭 ) ， 然 后 进行 新 应 用 的 局 动 及 检查 ， 检 查 通 过 后 ， 再 把 这 个 应 用 
加 入 到 负载 均衡 或 者 软 负 载 上 ， 并 对 外 提供 应 用 。 


从 整个 集群 的 视角 来 看 ， 对 于 单机 应 用 的 下 线 、 重 局 、 上 线 的 操 
作 ， 需 要 总 体 控制 同时 进行 这 个 操作 的 应 用 服务 器 的 数量 。 因 为 如 果 一 
个 集群 中 过 多 的 应 用 下 线 的 话 ， 剩 下 在 线 的 应 用 可 能 不 能 负担 当时 所 有 
的 请 求 ， 而 同时 去 操作 的 应 用 服务 器 的 数量 或 比例 一 定 是 可 调 的 。 























3. 灰 度 发 布 


应 用 虽然 经 过 了 严格 的 测试 ， 但 是 为 了 保证 万 无 一 失 ， 我 们 在 进行 
发 布 时 一 般 都 会 采用 灰 度 发 布 ， 也 就 是 会 对 新 应 用 进行 分 批发 布 ， 逐 步 
扩大 新 应 用 在 整个 集群 中 的 比例 直至 最 后 全 部 完成 ， 我 们 这 里 讲 的 灰 度 
发 布 主 要 是 针对 新 应 用 在 用 户 体 验方 面 完 全 感知 不 到 的 更 新 。 从 开始 灰 
度 友 布 到 完全 结束 的 时 间 可 能 会 比较 入 (有 的 可 能 需要 一 周 多 ) ， 那 么 
发 布 系统 就 需要 记录 、 管 理 这 些 状态 ， 并 且 完 成 整个 发 布 的 控制 。 














4. 产品 改版 Beta 





面 加 最 终 用 户 的 应 用 产品 的 改版 会 改变 用 户 的 习惯 ， 对 于 这 样 的 改 
变 我 们 不 会 一 思 切 地 直接 推行 ， 而 会 提供 新 旧 应 用 的 共存 。 应 用 本 里 会 
根据 集 略 引流 用 户主 要 是 对 用 户 的 引导 〉) ， 对 于 发 布 系 统 来 说 ， 把 新 
上 日 两 个 应 用 作为 两 个 应 用 集群 处 理 就 行 了 。 








8.6 ”应 用 监控 系统 


应 用 完成 开发 测试 发 布 后 ， 就 会 在 线 上 回 最 终 用 户 提 供 服务 ， 那 么 
应 用 本 身 的 运行 情况 以 及 出 现 问题 的 处 理 是 非常 重要 的 ， 尤 其 对 于 大 型 
网 站 来 说 ， 巨 大 的 用 户 量 以 及 对 可 用 性 的 严格 要 求 ， 就 要 求 我 们 能 够 及 
0 
[控制 两 部 分 。 


关于 监视 部 分 ， 我 们 从 下 面 几 个 维度 来 看 一 下 。 








。 数据 监视 维度 


我 们 监视 的 数据 主要 包括 系统 数据 和 应 用 上 自 映 的 数据 。 系 
统 数据 指 的 就 是 当前 应 用 运行 的 系统 环境 的 信息 ， 例 如 CPU 使 
用 率 、 内 存 使 用 情况 、 交 换 分 区 使 用 情况 、 当 前 系统 负载 、IO 
情况 等 ， 而 应 用 上 自身 的 数据 ， 则 是 不 同 应 用 有 不 同 的 数据 ， 一 
ee 











。 数据 记录 方式 


进行 监视 用 的 数据 采集 ， 需 要 考虑 被 床 集 数 据 的 记录 方 
式 。 系 统 目 身 的 数据 已 经 被 记录 到 了 本 地 磁盘 上 ， 应 用 的 数据 
一 般 也 是 存放 在 应 用 上 自身 的 目录 中 ， 便 于 采集 。 也 有 直接 把 应 
用 日 志 通 过 网 络 发 送 到 采集 服务 露 的 情况 ， 这 样 是 可 以 减轻 本 
地 写 日 志 的 压力 ， 不 过 也 需要 考虑 网 络 或 者 远程 服务 器 不 可 用 
的 情况 ， 这 种 情况 下 还 是 需要 先 写 到 本 地 。 


对 于 应 用 数据 的 记录 ， 我 们 首先 会 考虑 用 定时 统计 的 方式 
记录 一 些 量 很 大 的 信息 。 例 如 ， 对 于 一 个 提供 服务 的 应 用 ， 在 
没有 特别 需求 时 ， 我 们 并 不 直接 记录 每 次 调用 的 信息 ， 而 是 会 
记录 一 段 时 间 例如 5 秒 或 者 一 个 间隔 时 间 〉 内 的 总 调用 次 
数 、 总 啊 应 时 间 这 样 的 信息 ， 而 对 于 异常 等 信息 ， 则 每 条 都 会 



































予以 记录 。 采 用 统计 的 方式 记录 是 为 了 减 小 记录 的 大 小 以 及 对 
本 地 磁盘 的 写 入 压力 。 


。 数 据 采 集 方式 


这 是 应 用 监视 的 基础 ， 数 据 在 整个 集群 的 各 个 服务 器 中 产 
生 ， 采 集 方式 有 应 用 服务 器 主动 推送 给 监控 中 心 以 及 等 待 监控 
中 心 来 拉 取 两 种 方式 。 通 过 应 用 服务 器 来 推送 ， 控 制 权 在 应 用 
服务 器 上 上， 采集 的 频率 由 应 用 服务 器 控制 ， 那 么 这 种 情况 下 可 
能 出 现 的 问题 是 应 用 服务 器 推送 的 压力 超过 采集 的 中 心服 务 露 
的 能 力 ， 会 造成 重 试 等 额外 开销 ， 并 且 需 要 应 用 服务 器 上 的 推 
送 程序 控制 重 试 逻辑 和 当前 传送 位 置 等 信息 。 另 外 一 种 方式 是 
由 中 心 采集 服务 右 去 主动 拉 取 ， 这 是 一 个 轮 询 的 过 程 ， 采 用 长 
轮 询 的 方式 可 以 获得 较 低 的 延迟 ， 不 过 开销 比 长 连接 要 大 一 
些 。 通 过 中 心 采 集 服务 器 去 拉 取 ， 整 个 逻辑 及 关于 日 志 位 点 的 
记录 则 都 由 中 心 采 集 服 务 器 来 完成 。 把 复杂 性 都 放 在 中 心 床 集 
和 
常人 简单 。 











。 展现 与 告警 


中 心 采 集 服务 器 收集 的 数据 会 集中 存储 ， 采 用 图 表 的 方式 
可 以 提供 web 页面 的 展示 ， 并 且 根 据 设 置 的 告警 条 件 和 接收 人 
进行 告警 。 之 前 多 是 通过 短信 方式 来 告警 ， 现 在 通过 手机 应 用 
来 接收 报警 会 是 一 个 更 好 的 方式 。 


下 面 来 说 说 控制 的 部 分 ， 这 里 说 的 控制 是 应 用 启动 后 在 运行 期 对 于 
应 用 的 行为 改变 。 对 于 应 用 的 运 维 ， 最 低 的 要 求 是 出 现 问题 时 可 以 通过 
重启 应 用 解决 ， 但 是 我 们 还 是 需要 更 加 精细 化 地 控制 应 用 ， 其 实 比较 多 
的 控制 是 进行 降级 和 一 些 切换 。 降 级 是 我 们 遇 到 大 量 请 求 且 不 能 扩容 的 
情况 时 所 进行 的 功能 限制 的 行为 ， 可 能 针对 某 个 功能 的 所 有 使 用 者 进行 
限制 ， 也 可 能 是 根据 不 同 使 用 者 来 进行 限制 。 切 换 更 多 的 是 当 依赖 的 下 
层 系统 出 现 故障 并 且 需 要 手工 进行 切换 时 的 一 个 管理 。 这 些 控制 一 般 都 
是 通过 开关 、 参 数 设置 来 完成， 需要 得 到 第 7 章 介绍 的 集中 配置 管理 中 
心 的 支持 。 























8.7 ”依赖 害 理 系统 


通过 应 用 中 间 件 及 各 种 底层 的 系统 ， 网 站 已 经 不 再 是 最 初 的 集中 式 
应 用 了 ， 而 已 经 成 为 了 一 个 大 型 的 分 布 式 系 统 。 在 这 个 系统 中 有 各 种 应 
用 和 集群， 这些 应 用 集群 和 底层 系统 之 间 有 着 相 互 的 依赖 关系， 而 且 随 着 
网 站 功能 的 增多 ， 应 用 的 个 数 会 快速 增加 ， 应 用 之 间 的 关系 也 会 越 来 越 
复杂 ， 理 清 这 些 依赖 关系 并 能 够 管理 这 些 依赖 会 非常 重要 。 


首先 ， 我 们 需要 知道 一 个 应 用 在 完成 茶 个 功能 时 到 撒 需 要 依赖 哪些 
外 部 系统 ， 在 此 基础 上 ， 我 们 还 需要 知道 这 些 依 赖 中 哪些 是 必要 的 依赖 
强 依赖 )》， 哪 些 是 有 了 更 好 没有 也 可 以 的 依赖 “ 弱 依 赖 ) 。 


来 看 一 个 简单 的 例子 〈 如 图 8-17 所 示 ) 。 假 设 我 们 有 三 个 应 用 ， 需 
要 它们 合作 完成 用 户 登 录 的 功能 ， 其 中 ， 应 用 A 提供 了 Web 方 式 的 用 户 
登录 界面 ， 在 用 户 提 交 登 录 请 求 后 ， 应 用 A 需要 通过 应 用 B 的 服务 来 完 
成 用 户 名 和 密码 的 验证 工作 ， 验 证 通过 后 ， 调 用 应 用 C 去 记录 用 户 的 登 
录 时 间 和 卫 ， 可 见 ， 应 用 A 依 赖 了 应 用 B 和 应 用 C。 首 先 我 们 要 能 够 发 现 
这 个 依赖 关系 ， 其 次 ， 在 应 用 A 对 于 应 用 B 和 应 用 C 的 依赖 中 ， 要 求 登录 
的 功能 要 正常 ， 那 么 验证 用 户 名 和 密码 的 服务 一 定 要 可 用 才 行 ， 另 外 我 
们 不 希望 记录 登录 时 间 和 IP 的 功能 影响 登录 的 功能 ， 因 此 这 个 功能 不 应 
该 成 为 登录 功能 的 强 依 赖 。 那 么 ， 我 们 需要 有 系统 来 检测 某 个 应 用 的 依 
赖 关 系 及 强 弱 性 。 





























应 用 B 


验证 用 户 和 名 


站 


LILI HJ 





记录 登录 |! 


图 8-17 强 弱 依赖 示意 图 


对 于 依赖 的 检测 有 动态 检测 和 议 态 检测 两 种 方式 。 静 态 检 测 主要 是 
分 析 应 用 A 的 代码 来 确定 所 调用 的 具体 外 部 应 用 ， 从 而 获得 依赖 天 系 ， 
静态 检 训 很 难 检测 依赖 的 强 弱 性 。 动 态 检 测 则 是 在 系统 运行 的 阶段 ， 通 
过 功能 的 调用 来 发 现 应 用 的 依赖 和 关系， 并且 可 以 进行 依赖 强 弱 的 检查 。 
动态 检测 的 主要 检查 方式 是 模拟 被 调用 系统 不 可 用 和 啊 应 慢 的 两 种 情 
况 ， 检 测 的 场景 是 应 用 A 局 动 及 局 动 后 的 功能 执行 ， 也 就 是 通过 动态 检 
测 的 方式 来 确定 应 用 A 在 启动 时 必须 依赖 的 应 用 有 哪些， 以 及 在 运行 茶 
功能 时 必须 依赖 的 应 用 有 了 哪些。 这 些 检测 结果 可 供应 用 负责 人 参考 ， 并 
有 目 通 过 对 比 每 次 应 用 变更 后 的 检测 结果 与 变更 前 的 检测 结果 ， 可 以 发 现 
依赖 的 变化 ， 包 括 依赖 的 增加 、 减 少 ， 以 及 依赖 强 弱 特 性 的 变化 。 


在 运行 某 功能 时 的 检测 可 以 让 我 们 知道 完成 这 个 功能 的 对 外 系统 的 
依赖 ， 但 是 ， 这 还 是 一 个 相对 比较 粗 的 粒度 。Google 在 2010 年 发 表 的 名 
为 Dapper,， a Large-Scale Distributed Systems Tracing Infrastructure 的 论文 
中 介绍 了 在 大 型 分 布 式 系统 中 的 退 踪 ， 从 进入 到 大 型 分 布 式 系统 中 的 一 
个 请 求 开 始 ， 妃 踪 这 个 请 求 在 整个 大 型 分 布 式 系统 中 的 调用 情况 ， 这 可 
以 帮助 我 们 绘制 一 个 在 大 型 分 布 式 系统 中 路 系统 的 时 序 图 。 要 实现 这 个 
功能 需要 我 们 在 每 个 应 用 系统 中 都 进行 调用 的 记录 ， 使 用 和 请 求 相 关 的 
唯一 一 个 traceId 把 这 些 记 录 串 起 来 ，traceId 需 要 在 跨 系 统 调 用 时 进行 传 
i 














从 图 8-18 中 可 以 看 到 ， 请 求 从 应 用 A 进 入 到 整个 系统 中 ， 那 么 从 应 
用 A 开始 调用 依赖 的 服务 时 束 会 传递 一 个 traceld， 它 标识 了 整体 调用 
链 ， 此 外 我 们 可 以 看 到 还 有 一 个 index， 它 主要 用 来 记录 依赖 的 层次 和 
顺序 。 每 个 应 用 则 在 本 机 磁盘 进行 日 志 的 记录 ， 从 而 再 把 日 志 收 集 到 统 
一 的 地 方 后 进行 拼装 ， 形 成 一 个 调用 的 时 序 图 。 





traceld, ndex 


图 8-18 ”分布 式 环境 调用 追踪 


图 8-19 束 是 一 个 示例 ， 从 中 可 以 看 到 用 户 请 求 进入 系统 后 ， 请 求 按 
照 时 间 顺 序 的 走 占 以 及 古 通 过 什么 方法 来 调用 被 依赖 系统 的 。 








(Backend) 




















图 8-19 ”调用 追踪 具体 示例 


图 8-20 所 示 的 是 另外 一 种 展现 方式 ， 在 这 个 展现 中 把 具体 的 请 求 处 
理 时 间 也 表示 出 来 了 。 

















(time) 


Frontend.Request 
(no parent id) 
span id: 1 

















Backend.DoSomething 
parent id: 1 
span id: 3 
, Helper.Call 逆 
parent id: 3 
\ span id: 4 | 


Helper.Call 
parent id: 3 
span id: 5 
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Backend.Call ea 
parent id: 1 
span id: 2 
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图 8-20 调 


























最 终 时 间 划 





展示 














前 面 两 部 分 介绍 的 都 是 天 于 碍 看 应 用 和 应 用 之 间 的 依赖 关系 。 对 于 





依赖 的 控制 ， 则 是 通过 白 名 单 或 者 黑 名 单 的 机 制 来 完成 的 。 对 于 应 用 的 











识别 主要 是 通过 IP 地 址 及 应 用 本 里 的 名 字 来 完成 。 男 外 ， 可 以 通过 密码 
的 方式 进行 应 用 的 鉴 权 ， 并 完成 相应 的 调用 控制 。 


8.8 ”多 机 房 问 题 分 析 


我 们 在 这 里 说 一 下 多 机 房 的 问题 ， 当 然 这 里 的 多 机 房 指 的 是 源 站 的 
多 机 房 。 从 机 房 的 地 理 位 置 区 分 ， 我 们 会 讲 同城 机 房 和 有 异地 机 房 ， 一 般 
同城 的 机 房 之 间 的 距离 相对 比较 近 ， 可 能 在 一 二 十 公里 ， 而 异地 机 房 的 
距离 就 很 远 了 ， 一 般 为 数 百 公里 甚 军 上 干 公里 。 


多 机 房 主要 用 于 容 灾 ， 以 及 改进 不 同 地 域 的 用 己 的 访问 速度 。 当 
然 ， 单个 机 房 可 以 容纳 的 服务 器 规模 限制 也 是 多 机 房 的 一 个 影响 因素 


同城 机 房 的 价值 主要 是 容 灾 ， 以 及 突破 单机 房 的 服务 器 规模 的 限 
制 。 同 城 机 房 之 间 一 般 会 采用 光纤 专线 连接 ， 对 于 应 用 来 说 ， 可 以 近似 
地 把 同城 的 多 个 机 房 当 成 一 个 机 房 看 待 。 在 同城 多 个 机 房 中 ， 对 于 重要 
的 应 用 系统 ， 我 们 会 在 不 止 一 个 机 房 中 部 矫 ， 而 对 于 数据 库 系统 ， 则 会 
把 主 备 放 在 不 同 机 房 ; 此 外 ， 我 们 也 会 尽量 避免 不 必要 的 路 机 房 的 内 部 
系统 调用 ， 这 可 以 通过 软 负 载 中 心 和 服务 框架 来 解决 。 具 体 如 图 8-21 所 
外。 



































图 8-21 应 用 多 机 房 部 署 示 意图 

















当 机 房 1 出 现 故 障 时 ， 应 用 的 调用 都 是 在 本 地 ， 没 有 什么 问题 ， 而 
数据 库 要 进行 主 备 切换 ， 并 且 应 用 也 要 切换 到 新 的 主 库 上 。 对 我 们 来 
说 ， 在 应 用 层面 需要 完成 的 主要 工作 是 使 系统 尽 可 能 本 地 调用 ， 不 路 机 
房 调用 ， 故 外 则 是 当 底 层 有 状态 切换 时 应 用 也 能 进行 切换 。 








同城 机 房 的 问题 相对 好 处 理 一些 ， 异 地 则 有 很 大 的 挑战 ， 主 要 的 因 
素 是 两 地 网 络 通信 的 延迟 。 


对 于 异地 机 房 ， 可 以 分 几 个 阶段 来 实施 。 首 先是 进行 数据 的 备份 服 
务 ， 也 就 是 为 了 数据 安全 ， 把 产生 的 业务 数据 都 同步 到 异地 的 机 房 。 然 
后 ， 把 一 些 对 数据 延迟 不 敏感 的 系统 部 署 到 异地 ， 这 种 系统 一 般 是 只 读 
的 系统 ， 并 且 对 于 数据 变化 的 延迟 可 以 接受 ， 那 么 我 们 可 以 在 数据 复制 
到 异地 机 房 的 基础 上 构建 只 读 应 用 ， 这 样 可 以 方便 距离 异地 机 房 较 近 的 
用 户 的 访问 。 最 后 ， 则 是 把 写 数据 的 应 用 也 放 在 异地 ， 这 一 步 的 挑战 是 
最 大 的 。 如 果 业 务 之 间 独 立 ， 那 么 不 同 的 业务 分 属于 两 地 的 机 房 是 没有 
太 大 问题 的 ， 但 是 如 果 业 务 之 间 有 关联 的 话 ， 从 用 户 的 维度 去 划分 是 一 
个 可 以 党 试 的 方向 ， 但 是 同时 也 有 具有 非常 高 的 复杂 性 。 




















8.9 ”系统 容量 规划 


线 上 系统 有 了 监控 和 依赖 的 管理 ， 我 们 就 能 够 及 时 发 现 问题 并 且 能 
够 在 有 问题 时 进行 一 些 必要 的 补救 。 但 是 我 们 还 应 该 知道 的 信息 就 是 整 
个 系统 的 容量 以 及 运行 时 所 处 的 水 位 。 


我 们 把 茶 个 应 用 系统 集群 能 够 提供 的 并 及 能 力 和 当前 的 压力 比 作 一 
个 水 桶 的 容量 和 水 位 ， 如 图 8-22 所 示 。 那 么 准确 知道 各 个 系统 的 容量 和 
当前 局 峰 时 的 水 位 是 一 件 很 重要 的 事情 ， 因 为 我 们 还 是 希望 优先 通过 扩 
大 容量 来 文 持 更 多 的 请 求 ， 而 不 是 首选 降级 的 方案 。 


容重 
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水 位 
ee f 一 一 
ee, 
aad dd dd dd dt 
pd 
eT, 
A 
a, 
ad da dd dd dd 
Eada a add dda ddd dt 
tt 
ee, 
ee 
eT, 
Eadadd ddadddddddddddd dd dd dd 


图 8-22 ”容量 与 水 桶 


容量 的 测量 是 一 个 基础 的 工作 ， 我 们 最 终 的 希望 是 能 够 比较 好 地 对 
系统 容量 进行 规划 ， 能 够 预测 系统 容量 的 增长 曲线 ， 这 样 我 们 的 机 房 建 
设 、 服 务 器 的 增加 才能 更 加 接近 真实 需求 ， 也 能 降低 成 本 。 当 然 ， 要 预 
测 准 确 是 非常 困难 的 事情 ， 预 测 的 方式 一 般 是 考虑 过 去 的 增长 情况 并 结 
合 人 为 的 判断 。 可 以 结合 过 去 的 增长 趋势 拟 合 曲 线 来 生成 未 来 的 增长 曲 
线 ， 这 是 假设 未 来 的 增长 趋势 和 历史 能 一 致 的 前 提 下 。 而 现实 中 很 多 系 
统 的 增长 趋势 并 不 是 一 直 在 重复 过 去 ， 所 以 需要 增加 人 对 于 增长 的 判 























断 ， 即 使 这 样 也 不 外 保证 预测 准确 。 那 么 ， 在 无 法 精确 项 测 容量 变化 的 
情况 下 ， 还 有 以 下 几 件 事 情 是 我 们 必须 要 做 好 的 : 





Se 

ee 

设置 警戒 值 ， 遍 ! 水 位 高 过 警 式 值 就 增加 容量 ， 保 持 高 峰 的 水 位 是 
低 于 警戒 值 的 。 


其 中 第 一 条 “和 卉 清楚 当前 系统 高 峰 期 的 水 位 >， 我 们 通过 前 面 的 应 用 
监控 就 可 以 采集 到 这 些 数据 。 eae ey 根据 水 位 
去 扩容 也 比较 和 常规， 我 们 重点 要 看 一 下 怎样 计算 系统 的 容 


我 们 通过 测试 来 得 到 系统 的 容量 。 在 大 型 分 布 式 系统 中 ， 被 测试 的 
系统 会 依赖 其 他 系统 ， 那 么 我 们 首先 需要 保证 它 所 依赖 的 系统 不 是 瓶 
贷 ， 这 样 才能 比较 真实 地 获取 被 测试 系统 自身 的 容量 数据 。 此 外 ， 我 们 
增加 压力 进行 测试 时 ， 需 要 贴近 用 户 的 真实 请 求情 况 才 能 得 到 比较 真实 
的 数据 ， 另 外 ， 还 需要 考虑 系统 上 自身 的 啊 应 时 间 是 否 正常 ， 如 果 啊 应 时 
和 能 够 正常 承担 的 并 友 
请 求 数 了 。 


对 于 Web 应 用 和 提供 服务 的 应 用 ， 我 们 是 通过 负载 均衡 或 者 软 负载 
设备 使 得 集群 中 的 单 台 机 器 服务 更 多 的 请 求 〈 如 图 8-23 所 示 〉， 我 们 可 
以 逐步 增加 被 测试 应 用 的 负载 ， 并 注意 请 求 处 理 时 间 的 变化 ， 一 旦 请 求 
处 理 时 间 比 正 币 情 况 明显 俩 长 ， 则 结束 汕 试 。 可 以 看 到 ， 我 们 之 所 以 能 
够 很 容易 地 引流 是 因为 被 测试 对 象 是 无 状态 的 。 要 注意 的 是 ， 我 们 是 通 
过 测试 集群 中 的 日 机 容量 来 计算 整个 集群 的 容量 的 ， 那 么 对 于 数据 库 、 
绥 存 等 进行 数据 存储 或 者 有 状态 的 集群 ， 则 不 能 使 用 这 个 方法 来 测试 。 
放大 当前 的 并 发 请 求 量 是 一 个 可 用 的 方法 ， 不 过 这 只 用 于 读 操作 ， 例 如 
我 们 可 以 对 读 取 茶 个 市 点 的 缓存 数据 的 请 求 进行 放大 ， 可 以 将 一 次 读 取 
变 为 重复 的 多 次 。 






































图 8-23 引流 压 测 示意 图 





可 以 看 到 ， 我 们 在 线 上 引流 或 者 复制 流量 的 方式 都 是 针对 单机 的 。 
如 果 要 进行 在 线 全 站 的 压 测 则 非常 困难 。 对 于 读 操 作 ， 可 以 利用 加 速 日 
志 回 放 进 行 ， 而 对 于 写 操作 ， 则 会 相对 复杂 些 ， 因 为 重 放 之 前 的 用 户 日 
志 会 涉及 数据 的 写 操作 ， 而 这 样 会 带 来 脏 数据 。 可 以 考虑 的 一 个 处 理 方 
式 是 ， 在 线 上 构建 一 个 用 于 压 测 的 数据 库 ， 把 真实 数据 全 部 〈 大 型 系统 
中 往往 是 部 分 ) 导 入 这 个 数据 库 ， 然 后 让 写 的 压 测 数据 走 到 这 个 Mock 
的 数据 库 中 。 不 过 这 里 存在 一 个 问题 ， 那 就 是 我 们 必须 区 分 应 用 中 的 测 
试 请 求 和 正常 请 求 ， 可 以 采用 的 一 种 做 法 是 测试 的 请 求 从 前 并 URL 进 来 
时 就 为 之 增加 一 个 特别 的 参数 ， 然 后 在 整个 调用 链 中 传递 这 个 参数 ， 最 
后 再 进行 测试 库 和 真实 库 的 区 分 。 





8.10 ”内 部 私有 云 


近 几 年 ， 云 计算 是 很 火热 的 话题 ， 公 有 云 、 私 有 云 也 是 业内 很 多 技 
术 人 人员 热 议 的 内 容 。 对 于 大 党 网 站 来 说 ， 无 论 套 硬 面 看 到 的 中 间 件 还 厦 
本 章 看 到 的 这 些 基 础 文 撑 ， 都 是 大 型 网 站 的 重要 组 成 部 分 ， 而 内 部 私有 
云 则 会 给 大 型 系统 的 运 维 带 来 很 多 便利 。 


对 于 内 部 私有 云 的 构建 ， 需 要 考虑 如 何 把 已 经 形成 规模 的 内 部 工 
有 具 、 系 统 较 好 地 灶 合 在 一 起 。 此 外 ， 也 可 以 去 根据 内 部 的 特点 去 简化 ， 
例如 如 果 我 们 都 是 Linux 环 境 ， 束 不 需要 考虑 Windows 的 支持 。 云 计算 
带 给 我 们 的 是 看 起 来 用 之 不 尽 的 资源 ， 这 背后 要 求 我 们 的 资源 能 够 动态 
扩展 ， 并 且 在 不 需要 时 外 ne se a he inn 
之 前 所 讲 的 容量 规划 中 的 容量 测试 和 水 位 计算 有 很 大 关系 ， 要 进行 
扩容 ， 就 需要 去 自动 建立 环境 ， 上 传 应 用 并 完成 配置 和 启动 。 由 
的 集群 的 扩容 、 收 缩 要 复杂 很 多 。 轻 量 级 的 虚拟 化 也 是 内 部 私有 云 的 重 
要 部 分 。 可 以 说 内 部 私有 云 会 带动 很 多 相关 内 部 系统 的 改造 ， 并 带 来 一 
些 人 工 工作 的 自动 化 。 


到 这 里 ， 关 于 大 型 网 站 的 其 他 要 系 的 介绍 束 结 束 了 。 本 章 主 要 是 对 
这 些 要 素 进 行 基础 介绍 ， 其 中 谈 到 的 每 一 个 话题 基本 上 部 可 以 独立 成 
书 。 希望 本 章 能 够 让 读者 了 解 到 除了 前 面 重点 介 绍 的 Java 中 间 件 以 外 ， 
文 撑 大 型 系统 的 还 有 其 他 哪些 要 素 和 系统 。 感 兴趣 的 读者 可 以 去 找到 相 
天 资料 进行 深入 的 研究 。 

















后 记 


通过 前 面 章节 的 讲解 ， 相 信 各 位 读者 已 经 了 解 了 大 型 网 站 系统 及 
Java 中 间 件 的 相关 知识 。 在 大 型 网 站 中 ， 要 面临 的 问题 很 多 ， 但 是 核心 
问题 还 是 数据 量 、 访 问 量 快 速 膨胀 带 来 的 稳定 性 、 性 能 、 成 本 、 效 率 的 
问题 ， 此 外 就 是 和 算法 相关 的 问题 。 


从 集中 式 的 系统 走向 分 布 式 的 系统 时 ， 需 要 通过 服务 框架 、 消 奶 中 
间 件 及 数据 访问 层 来 解决 应 用 与 应 用 之 间 的 调用 、 解 厢 ， 以 及 应 用 与 斥 
层 存 储 之 间 访 问 的 通用 的 问题 。 这 样 一 组 基础 设施 可 以 让 开发 人 员 在 进 
行 分 布 式 应 用 开发 时 能 够 重点 关注 业务 应 用 本 喘 要 实现 的 功能 ， 而 不 是 
陷入 通信 、 编 码 等 方面 的 工作 中 。 中 间 件 一 定 要 和 目 喘 所 处 环境 紧密 结 
合 才 行 。 在 的 层 文 撑 的 系统 上 去 建设 和 完善 也 要 花费 比较 多 的 精力 。 


在 大 型 网 站 的 建设 当中 ， 干 万 不 要 一 味 遵 循 一 些 所 谓 的 标准 ， 因 为 
有 些 标 准 的 制定 根本 不 是 针对 大 型 网 站 系统 的 。 在 大 型 系统 中 ， 总 会 遇 
到 很 多 看 起 来 “丑陋 ”的 设计 ， 但 是 这 些 设 计 往 往 能 市 来 非常 好 的 效果 。 


多 关注 业内 的 进展 是 很 重要 的 ， 可 以 是 发 表 的 论文 ， 或 是 类 似 博 文 
的 介绍 ， 也 可 以 是 产品 源码 本 身 ， 我 们 需要 了 解 它 们 并 思考 如 何 能 够 应 
用 它们 来 改进 目 己 的 系统 。 而 在 具体 解决 问题 时 ， 完 全 从 头 写 代码 还 是 
基于 开源 代码 去 发 展 ， 需 要 慎重 地 思考 和 决定 。 如 果 场 景 类 似 ， 那 么 以 
比较 活跃 的 开源 产品 为 基础 ， 并 根据 目 己 场景 定制 会 事半功倍 ;， 而 如 果 
没有 合适 的 开源 系统 ， 束 需要 我 们 从 零 构 建 一 个 我 们 需要 的 基础 系统 。 
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